Inteligencia musical artificial y realidad virtual aplicadas al desarrollo de juegos serios enfocados al aprendizaje musical

Se desarrollarán juegos para tablet que, haciendo uso de técnicas de AI aplicadas a la música junto con técnicas de realidad virtual, proporcionen un método divertido, pero riguroso, de aprendizaje musical.

Investigador principal

Isabel Barbancho Pérez

Sede:

UMA

Tecnología

a. Machine Learning

h. Realidad virtual

Agentes agregados

Empresa Newbik

Conservatorio Profesional Gonzalo Martín Tenllado de Málaga

Resumen de la propuesta

En este proyecto se desarrollarán juegos serios para tablet y/o iPad que, haciendo uso de técnicas de inteligencia artificial aplicadas a la música junto con técnicas de realidad virtual, proporcionen un método divertido, pero riguroso, de aprendizaje musical. La clave estará en que la interactividad de estos juegos estará basada en el sonido de un instrumento musical real o en el de la propia voz cantada del estudiante de música. Dada la rigurosidad con la que se plantearán los contenidos interactivos destinados al aprendizaje, estos juegos serán adecuados para estudiantes de música de cualquier edad.

Objetivo del proyecto

El objetivo del proyecto que se plantea es proporcionar nuevas herramientas interactivas para el aprendizaje de música, gracias a las posibilidades que ofrecen la inteligencia artificial y las técnicas de realidad virtual. La forma concreta que tomará la herramienta será la de juego serio en el que la interactividad vendrá proporcionada por la inteligencia artificial que le conferirá al dispositivo la capacidad de “oír” música y, a través de esa capacidad, la forma en la que el estudiante podrá interactuar en tiempo real con el dispositivo para lograr las metas del juego. En cuanto a la realidad virtual, esta será clave para ofrecer un entorno de juego especialmente atractivo gracias a las posibilidades de visualización e inmersión que ofrece.

Por tanto, y gracias a la participación conjunta del grupo ATIC de la UMA, de profesorado del Conservatorio Profesional Gonzalo Martín Tenllado de Málaga y de profesionales de la empresa Newbik, se desarrollarán juegos serios para el aprendizaje de Lenguaje Musical y para el aprendizaje de instrumentos musicales de uso común no solo en Conservatorios, sino también en colegios, como pueden ser la flauta dulce o la guitarra, que contarán con:

• Interactividad con el sonido musical

• Un entorno gráfico atractivo

• Material didáctico riguroso

Además, estos juegos serios podrán llevar asociados libros físicos que contendrán el material didáctico y que dirigirán al contenido interactivo con el que aprender jugando.

Resultados esperados e indicadores

• Juegos serios preparados para subir a AppStore, Google Play, etc.

• Publicaciones sobre las diferentes tecnologías desarrolladas.

• Libros digitales interactivos.

Indicadores (esperados hasta el 31/12/2021)

  • Nuevo personal investigador (equivalente anual): 1
  • Patentes: 0
  • Nº contratos transferencia: 1
  • Congresos: 1
  • Publicaciones indexadas: 1

Justificación potencial impacto tecnológico del proyecto TRL

TRL 9 – Sistema real probado en un entorno operacional.

Tras la ejecución de este proyecto, se habrá diseñado el sistema completo y se habrá probado en un entorno operacional, ya que se habrá testado su funcionamiento con estudiantes del Conservatorio que colabora en este proyecto. Por tanto, el resultado final del proyecto dará como resultado un producto digital interactivo novedoso que podrá ser llevado al mercado.