Se viene Sinetesik!

Te imaginás la potencia de utilizar RedPanal en vivo? Empezá a hacerte la cabeza, porque se viene!!

El CCEBA -Centro Cultural de España en Buenos Aires- ha elegido SiNetesik como proyecto para el Laboratorio de Producción que se realizá en el MediaLab de la institución y nos embarcamos junto al genial Lifo Fernandez a construir un nuevo instrumento musical basado en nuestra experiencia comunitaria.

SiNetesik – Mesa interactiva para hacer música.

SiNetesik es una instalación interactiva multiusuario mediante la cual el público será capaz de producir piezas musicales, manipulando el material sonoro (loops, samples, pistas, etc) de nuestra base datos de audio libre, online, de manera novedosa, simple e intuitiva.

La persona encuentra, proyectados sobre una superficie de tipo “mesa”, una representación visual de todos y de cada unos de los sonidos de RedPanal, recreados como entes a partir de sus propias características psicoacústicas. Es bueno adelantarnos y aclarar que la manera en la que estos objetos gráficos se ubican en el espacio no es azarosa, sino que tiene una profunda vinculación en las relaciones de similitud o no entre los objetos sonoros. En el momento de la performance, el músico puede reordenarlos y elegir la manera en la que ellos se agrupan, se acercan o se alejan, definiendo en que canales quiere establecer estas comparaciones.

Tenemos así una “nube” de audios/gráficos que es navegada y operada a través de una interface háptica (mesa y objetos). Cada elemento visual que se ve corresponde a uno de los materiales alojados en el servidor, subido previamente por un miembro de la comunidad RedPanalera.

Entonces se puede explorar esta nube, así como también procesar los materiales en ella y mezclarlos para producir nuevos. Un punto muy importante es que estas dos prácticas, la búsqueda y la autoría, ocurren en simultáneo, están unidas en la misma aplicación. Los limites entre cuando se está explorando y cuando se encuentra produciendo son dinámicos y están mas bien marcados por la acción del usuario y no por la herramienta en si.

Como aclaramos anteriormente, en el proceso de selección  se puede reorganizar la visualización , también se puede preescuchar los materiales. Asistiendo a esto, una especie de lupa, un marco que muestra menos elementos con mas nivel de detalle y donde podemos elegir ver solamente algunos elementos con determinadas características filtrando otros.

Una vez que el usuario encontró lo que deseaba, lo modifica y  mezcla con otros elementos. El también puede consolidar grupos de sonidos como si fuesen uno solo y así manipularlos como individuales.

Fundamentación

En año pasado, British Council nos convocó para darle forma al stand que estaban preparando en el marco de la Feria Internacional de Música de Buenos Aires (BAFIM). Pensamos cómo hacer para que el público del festival pudiera experimentar o jugar con los sonidos que se encuentran en RedPanal, evitando tener que explorar extensas listas de archivos solo con referencias textuales a los mismos, para luego tener que importar nuestra elección a algún software multipista. Práctica muy cotidiana en los múdicos, pero que en este contexto considerábamos negativa.

Esto fue lo que disparó la idea de promover la creación colaborativa uniendo, la exploración de grupos de documentos digitales, con el proceso de producción en una sola actividad, combinado algunos aspectos de disciplinas como music information retrival, interactive data visualization, web semántica o web 3.0, query by humming , query by example, interfaces interactivas hapticas, proceso de audio en tiempo real.

Destinatarios.

Si bien esta instalación quizás sea realmente aprovechada por artistas sonoros, esta destinada tanto a músicos como no-músicos, a cualquier público en general, tratando de acercar a estos últimos a la composición contemporánea electroacústica y a la creación colaborativa.

Antecedentes y contexto.

La necesidad de crear herramientas automáticas que le otorguen a los sonidos un significado visual, para poder percibir sus particularidades de una manera rápida, simple y eficaz, urge al considerar la enorme cantidad de información a la que nos exponemos adelante de extensos lotes de archivos. Teniendo en cuenta lo accesible que se ha vuelto registro digital de materiales sonoros para cualquiera persona esto es mas común cada día.

Esta búsqueda por concebir sistemas con nuevas funcionalidades para la búsqueda, interacción y producción con material musical esta muy vigente. En líneas similares a las de este proyecto podemos nombrar a “SemanticHiFi“. Este trabajo es llevado a cabo por un consorcio de universidades y empresas, entre ellas: IRCAM, Native Instruments, Sony y Universitat Pompeu Fabra. Proyectado tanto como un instrumento abierto y como una estación de escucha, propone cambiar drásticamente la manera de interactuar con la música disolviendo los limites tradicionales entre escuchar, producir y remixar.

Del tipo de interfaces expresivas para la navegación de piezas musicales, que también se valen de las técnicas de Music Information Retrieval (MIR)  y Tangible User Interfaces (TUI), tenemos que considerar el trabajo de Carles Fernández Julià “SongExplorer”.

Información técnica del proyecto.

Extracción e indexado de información en el audio

La primer parte del desarrollo, que en un primer momento no se realizará en tiempo real, tiene como fin extraer las características del sonido, pertinentes a los procesos que realizaremos después (analizar, convertir en descriptores textuales y almacenar).

Los aspectos psicoacústicos en los cuales nos centraremos son:  tonicidad (porcentaje de percepción de altura), tónica y modo; rango de las alturas y densidad polifónica; tempo y densidad cronométrica; tipo de ataque y duración de la envolvente.

Para llevar a cabo este proceso, analizar y convertir esta información en descriptores textuales e indexarlos en una base de datos, utilizaremos el sistema de plugins Vamp. Estos plugins son corridos en un host, existen varios, en este caso nosotros utilizaremos Sonic Annotator, una aplicación que, ejecutada mediante un simple comando de consola, nos permite procesar lotes de archivos aplicándoles diferentes tipos de análisis.

Estas utilidades citadas anteriormente (Vamp Plugins y Sonic Annotator) son desarrollos del Centre for Digital Music, Queen Mary, University of London.

Visualización interactiva de datos

Los objetos visuales con los cuales interactuará el usuario se generan a partir de estos datos extraídos.
En el entorno de programación Processing/Java desarrollaremos el sistema de visualización de datos que automáticamente generará la referencia visual a cada audio
Los vínculos que entablemos entre estas cualidades auditivas y el código gráfico posiblemente serán estas:

Captación de movimiento de los usuarios

Para captar las acciones que realicen los usuarios, utilizaremos una cámara bajo de la superficie de proyección y en el centro de la misma. A través de un sistema de visión por computadoras analizaremos esta captura en tiempo real, actualizaremos la interface gráfica y enviaremos a PureData, mediante el protocolo OSC, los cambios y procesos que el usuario vaya realizando.

Módulo sonoro

El modulo de sonido lo desarrollaremos en PureData. Los procesos y controles serán en el principio simples, limitándonos a permitir manipulaciones clásicas de las primeras experiencias de música concreta.

Esperamos que les gusten las noticias! Nosotros estamos motivaaaaaaaaaaaaaaaaaados!!

Gracias al MediaLab, Emiliano Causa (Coordinador) y Matias Romero Costas (Asistente) la posibilidad que nos brindan.