Proyecto “Subtitulado accesible de la música de películas” de la Universidad Carlos III de Madrid
Por su capacidad de generar emoción, la música es utilizada ampliamente en los medios audiovisuales como soporte a la narrativa. La música transmite de manera inmediata e intensa la tonalidad emocional de una escena (alegría, miedo, tristeza), informando así del desarrollo de la acción dramática. Por ejemplo, el sentido de una escena sin palabras en la que se ve a un personaje de espaldas mirando por una ventana cambia totalmente con unos pocos segundos de música alegre, o triste, o aterradora. El subtitulado tradicional nos informa a nivel intelectual del sentido de la escena, pero es insuficiente para transmitir la respuesta emocional inmediata que genera la música. ¿Es posible transmitir esta emoción musical en los casos de discapacidad auditiva?
El proyecto “Subtitulado accesible de la música de películas” de la Universidad Carlos III de Madrid tiene como objetivo general facilitar al espectador con discapacidad auditiva el acceso a una experiencia audiovisual lo más completa posible, aportando bases científicas para un marco complementario de subtitulado de la música, que pudiera identificar la intención emocional, y transmitirla mediante la estimulación vibro táctil, un ámbito de investigación en auge en los últimos años orientado a mejorar la experiencia musical en personas con discapacidad auditiva. Este subtitulado de la música estaría pues compuesto por dos funcionalidades principales: una funcionalidad de extracción de la emoción musical mediante la clasificación automática de los distintos fragmentos la banda sonora, y una funcionalidad de transmisión de esta emoción a través del canal vibro táctil, estableciendo los correspondientes parámetros vibro táctiles.
La neurociencia explica que la emoción musical se desencadena en nuestro cerebro más antiguo e interno, sin que medie un procesamiento cognitivo superior, siendo su origen un mecanismo primitivo de adaptación. De aquí la universalidad y la inmediatez de las emociones básicas de alegría, tristeza o miedo, que son las que mejor se identifican en la música, y precisamente las que más se utilizan en la música de películas. Un simple acorde, dos o tres notas desencadenan ya una emoción. Por otro lado, estudios recientes muestran que existe una estrecha analogía entre los sentidos del oído y el tacto. El rango de percepción vibro-táctil es más limitado y menos preciso, pero el procesamiento cerebral de las características de las vibraciones sonoras o táctiles se produciría por los mismos circuitos cerebrales, por lo que la estimulación vibro táctil podría activar las mismas áreas emocionales que la estimulación auditiva producida por vibraciones musicales sonoras.
Los estudios realizados en el ámbito de este proyecto muestran por un lado que se pueden clasificar, cuando se expresan en grado intenso, las emociones básicas de alegría, tristeza y medio de forma automática en fragmentos cortos de músicas de películas (de unos dos segundos, suficientes para generar la emoción) con modelos de clasificación automática basado en redes neuronales convolucionales, obteniendo resultados de clasificación muy cercanos a los obtenidos en los estudios neurocientíficos de reconocimiento de emoción musical con sujetos.
Por otra parte, se ha registrado, con técnicas de electroencefalografía, (EEG 1 en adelante) la actividad cerebral en grupos de sujetos experimentales ante la presentación de un material audiovisual en distintas condiciones. Se ha podido observar que el subtitulado textual incrementa la actividad en áreas de procesamiento cognitivo, es decir lejos de la reacción emocional musical localizada en zonas más internas del cerebro. Sin embargo, las zonas cerebrales activadas por una experiencia audiovisual completa, al menos las que se pueden medir mediante EEG, se activan también significativamente de forma similar durante una proyección audiovisual sin audio, pero acompañada de una suave estimulación vibro táctil.
Estos resultados abren el camino a un subtitulado accesible de la música, complementario a los subtítulos tradicionales, que pudiera identificar la intención emocional de la música de forma automática y transmitirla mediante patrones vibrotáctiles. El objetivo ahora es por un lado establecer patrones de estimulación táctil que puedan generar las distintas emociones de alegría, tristeza o miedo, partiendo de los parámetros musicales que se asocian con las distintas emociones musicales (por ejemplo, la alegría se asocia con modo mayor y tempo rápido) e investigar su reproducción mediante estimulación vibro táctil, pero de acuerdo con las características y limitaciones de la percepción vibro táctil. Por otro lado, avanzar en el análisis automático de las bandas sonoras de las películas, para poder detectar de forma automática fragmentos musicales de emoción intensa que deban subtitularse porque son importantes para la trama. Todo lo que se pueda automatizar facilita las tareas de subtitulado, y por tanto ayuda a generalizar y extender el subtitulado.
La música es un potente transmisor de emociones, pero las personas con discapacidad auditiva no tienen acceso a este componente de la experiencia audiovisual. El subtitulado emocional de la música daría acceso una experiencia audiovisual más completa y a poder compartir esta experiencia con el resto de los colectivos. Posiblemente no sea posible reproducir exactamente la experiencia musical convencional, pero sí generar alternativas para llegar a una experiencia emocional equivalente. Es decir, sentir la emoción de forma inmediata, independientemente del canal de transmisión.
María José Lucía Mulas
Profesora Asociada de la Universidad Carlos III de Madrid
Colaboradora Centro Español del Subtitulado y la Audiodescripción
(1) Un electroencefalograma (EEG) es un estudio que mide la actividad eléctrica en el cerebro mediante pequeños discos de metal (electrodos) colocados sobre el cuero cabelludo. Las neuronas cerebrales se comunican a través de impulsos eléctricos y están activas todo el tiempo, incluso mientras duermes. Esta actividad se manifiesta como líneas onduladas en un registro electroencefalográfico.(Clínica Mayo)