Responsable: José Luis Blanco Murillo [jl.blanco@upm.es]
Comprender y reproducir el canto de las aves puede contribuir a estudiar cómo se generan sus vocalizaciones y a desarrollar herramientas para el estudio de su comportamiento individual y colectivo. El desarrollo de modelos profundos ha limitado el estudio de técnicas de síntesis procedimental, mucho más controlables y explicables. Este TFT propone desarrollar y evaluar un modelo básico del sistema de producción del canto de las aves. El modelo estará formado por bloques sencillos de generación y transformación de sonido, cuyos parámetros permitirán controlar características fundamentales y la evolución temporal del canto.
A partir de este modelo se estudiarán técnicas de Differentiable Digital Signal Processing (DDSP) para entrenar automáticamente los parámetros del modelo y, con ello, aprender a aproximar el canto de un individuo de referencia y sintetizar un sonido lo suficientemente parecido y realista.El estudiante abordará las siguientes tareas:
– familiarización con los sonidos de fauna aviar;
– familiarización con el problema y los modelos de síntesis procedimental;
– selección de grabaciones;
– desarrollo de un modelo procedimental sencillo de síntesis;
– implementación diferenciable de sus principales bloques;
– (avanzado) entrenamiento automático de los parámetros del modelo;
– evaluación de los resultados, incluyendo la calidad y la fidelidad de las grabaciones.Resultados esperados:
– un sintetizador procedural de canto de aves (repositorio de código);
– integración del sintetizador en una herramienta web interactiva para el manejo del sintetizador;
– un procedimiento para entrenar sus parámetros a partir de grabaciones;
– una evaluación del parecido entre los sonidos reales y sintetizados;
– una demostración con diferentes ejemplos de audio.Perfil recomendado:
El TFT está dirigido a estudiantes interesados en el procesamiento de audio y en el aprendizaje automático. Requiere programación en Python y en interfaces gráficas interactivas.
No es necesario tener conocimientos previos de bioacústica ni de modelos avanzados de inteligencia artificial. El trabajo permitirá aprender estas técnicas mediante un problema concreto: lograr que el modelo produzca los mismos sonidos que un ave.
A partir de este modelo se estudiarán técnicas de Differentiable Digital Signal Processing (DDSP) para entrenar automáticamente los parámetros del modelo y, con ello, aprender a aproximar el canto de un individuo de referencia y sintetizar un sonido lo suficientemente parecido y realista.El estudiante abordará las siguientes tareas:
– familiarización con los sonidos de fauna aviar;
– familiarización con el problema y los modelos de síntesis procedimental;
– selección de grabaciones;
– desarrollo de un modelo procedimental sencillo de síntesis;
– implementación diferenciable de sus principales bloques;
– (avanzado) entrenamiento automático de los parámetros del modelo;
– evaluación de los resultados, incluyendo la calidad y la fidelidad de las grabaciones.Resultados esperados:
– un sintetizador procedural de canto de aves (repositorio de código);
– integración del sintetizador en una herramienta web interactiva para el manejo del sintetizador;
– un procedimiento para entrenar sus parámetros a partir de grabaciones;
– una evaluación del parecido entre los sonidos reales y sintetizados;
– una demostración con diferentes ejemplos de audio.Perfil recomendado:
El TFT está dirigido a estudiantes interesados en el procesamiento de audio y en el aprendizaje automático. Requiere programación en Python y en interfaces gráficas interactivas.
No es necesario tener conocimientos previos de bioacústica ni de modelos avanzados de inteligencia artificial. El trabajo permitirá aprender estas técnicas mediante un problema concreto: lograr que el modelo produzca los mismos sonidos que un ave.
Interesados:
Deben contactar al tutor por correo electrónico, incluyendo: (1) CV, (2) carta de motivación personal, (3) certificado de calificaciones (el disponible en UPM virtual es suficiente).
