Se viene Sinetesik!

Te imaginás la potencia de utilizar RedPanal en vivo? Empezá a hacerte la cabeza, porque se viene!!

El CCEBA -Centro Cultural de España en Buenos Aires- ha elegido SiNetesik como proyecto para el Laboratorio de Producción que se realizá en el MediaLab de la institución y nos embarcamos junto al genial Lifo Fernandez a construir un nuevo instrumento musical basado en nuestra experiencia comunitaria.

SiNetesik – Mesa interactiva para hacer música.

SiNetesik es una instalación interactiva multiusuario mediante la cual el público será capaz de producir piezas musicales, manipulando el material sonoro (loops, samples, pistas, etc) de nuestra base datos de audio libre, online, de manera novedosa, simple e intuitiva.

La persona encuentra, proyectados sobre una superficie de tipo «mesa», una representación visual de todos y de cada unos de los sonidos de RedPanal, recreados como entes a partir de sus propias características psicoacústicas. Es bueno adelantarnos y aclarar que la manera en la que estos objetos gráficos se ubican en el espacio no es azarosa, sino que tiene una profunda vinculación en las relaciones de similitud o no entre los objetos sonoros. En el momento de la performance, el músico puede reordenarlos y elegir la manera en la que ellos se agrupan, se acercan o se alejan, definiendo en que canales quiere establecer estas comparaciones.

music interface

Tenemos así una “nube” de audios/gráficos que es navegada y operada a través de una interface háptica (mesa y objetos). Cada elemento visual que se ve corresponde a uno de los materiales alojados en el servidor, subido previamente por un miembro de la comunidad RedPanalera.

Entonces se puede explorar esta nube, así como también procesar los materiales en ella y mezclarlos para producir nuevos. Un punto muy importante es que estas dos prácticas, la búsqueda y la autoría, ocurren en simultáneo, están unidas en la misma aplicación. Los limites entre cuando se está explorando y cuando se encuentra produciendo son dinámicos y están mas bien marcados por la acción del usuario y no por la herramienta en si.

Como aclaramos anteriormente, en el proceso de selección  se puede reorganizar la visualización , también se puede preescuchar los materiales. Asistiendo a esto, una especie de lupa, un marco que muestra menos elementos con mas nivel de detalle y donde podemos elegir ver solamente algunos elementos con determinadas características filtrando otros.

Una vez que el usuario encontró lo que deseaba, lo modifica y  mezcla con otros elementos. El también puede consolidar grupos de sonidos como si fuesen uno solo y así manipularlos como individuales.

Fundamentación

En año pasado, British Council nos convocó para darle forma al stand que estaban preparando en el marco de la Feria Internacional de Música de Buenos Aires (BAFIM). Pensamos cómo hacer para que el público del festival pudiera experimentar o jugar con los sonidos que se encuentran en RedPanal, evitando tener que explorar extensas listas de archivos solo con referencias textuales a los mismos, para luego tener que importar nuestra elección a algún software multipista. Práctica muy cotidiana en los múdicos, pero que en este contexto considerábamos negativa.

Esto fue lo que disparó la idea de promover la creación colaborativa uniendo, la exploración de grupos de documentos digitales, con el proceso de producción en una sola actividad, combinado algunos aspectos de disciplinas como music information retrival, interactive data visualization, web semántica o web 3.0, query by humming , query by example, interfaces interactivas hapticas, proceso de audio en tiempo real.

puredata

Destinatarios.

Si bien esta instalación quizás sea realmente aprovechada por artistas sonoros, esta destinada tanto a músicos como no-músicos, a cualquier público en general, tratando de acercar a estos últimos a la composición contemporánea electroacústica y a la creación colaborativa.

Antecedentes y contexto.

La necesidad de crear herramientas automáticas que le otorguen a los sonidos un significado visual, para poder percibir sus particularidades de una manera rápida, simple y eficaz, urge al considerar la enorme cantidad de información a la que nos exponemos adelante de extensos lotes de archivos. Teniendo en cuenta lo accesible que se ha vuelto registro digital de materiales sonoros para cualquiera persona esto es mas común cada día.

Esta búsqueda por concebir sistemas con nuevas funcionalidades para la búsqueda, interacción y producción con material musical esta muy vigente. En líneas similares a las de este proyecto podemos nombrar a «SemanticHiFi«. Este trabajo es llevado a cabo por un consorcio de universidades y empresas, entre ellas: IRCAM, Native Instruments, Sony y Universitat Pompeu Fabra. Proyectado tanto como un instrumento abierto y como una estación de escucha, propone cambiar drásticamente la manera de interactuar con la música disolviendo los limites tradicionales entre escuchar, producir y remixar.

Del tipo de interfaces expresivas para la navegación de piezas musicales, que también se valen de las técnicas de Music Information Retrieval (MIR)  y Tangible User Interfaces (TUI), tenemos que considerar el trabajo de Carles Fernández Julià «SongExplorer».

puredata

Información técnica del proyecto.

Extracción e indexado de información en el audio

La primer parte del desarrollo, que en un primer momento no se realizará en tiempo real, tiene como fin extraer las características del sonido, pertinentes a los procesos que realizaremos después (analizar, convertir en descriptores textuales y almacenar).

Los aspectos psicoacústicos en los cuales nos centraremos son:  tonicidad (porcentaje de percepción de altura), tónica y modo; rango de las alturas y densidad polifónica; tempo y densidad cronométrica; tipo de ataque y duración de la envolvente.

Para llevar a cabo este proceso, analizar y convertir esta información en descriptores textuales e indexarlos en una base de datos, utilizaremos el sistema de plugins Vamp. Estos plugins son corridos en un host, existen varios, en este caso nosotros utilizaremos Sonic Annotator, una aplicación que, ejecutada mediante un simple comando de consola, nos permite procesar lotes de archivos aplicándoles diferentes tipos de análisis.

Estas utilidades citadas anteriormente (Vamp Plugins y Sonic Annotator) son desarrollos del Centre for Digital Music, Queen Mary, University of London.

Visualización interactiva de datos

Los objetos visuales con los cuales interactuará el usuario se generan a partir de estos datos extraídos.
En el entorno de programación Processing/Java desarrollaremos el sistema de visualización de datos que automáticamente generará la referencia visual a cada audio
Los vínculos que entablemos entre estas cualidades auditivas y el código gráfico posiblemente serán estas:

Captación de movimiento de los usuarios

Para captar las acciones que realicen los usuarios, utilizaremos una cámara bajo de la superficie de proyección y en el centro de la misma. A través de un sistema de visión por computadoras analizaremos esta captura en tiempo real, actualizaremos la interface gráfica y enviaremos a PureData, mediante el protocolo OSC, los cambios y procesos que el usuario vaya realizando.

Módulo sonoro

El modulo de sonido lo desarrollaremos en PureData. Los procesos y controles serán en el principio simples, limitándonos a permitir manipulaciones clásicas de las primeras experiencias de música concreta.

Esperamos que les gusten las noticias! Nosotros estamos motivaaaaaaaaaaaaaaaaaados!!

Gracias al MediaLab, Emiliano Causa (Coordinador) y Matias Romero Costas (Asistente) la posibilidad que nos brindan.

OMRAS2

¿Qué es omras2?

Reconocimiento y búsqueda de música online.

o, alternativamente,

Música de recuperación y escritura ontológica para compartir servicios.

omras2 es un framework para escritura y búsqueda de colecciones de música grabada y representaciones digitales como MIDI. El proyecto está financiado por el EPSRC.

Music Information Retrieval

Escritura.

omras2 define dos normas fundamentales para anotar música.

* Un conjunto de ontologías extensibles que permite compartir datos a través de la web y vinculados a los recursos existentes;
* Una interfaz de plug-in para la extracción de características de audio y los módulos de escritura.

Numerosos módulos de escritura ya están disponibles como complementos Vamp. La interfaz de Vamp puede apoyar una amplia gama de productos, desde audio low-level (espectrogramas, etc) a las escrituras high-level (tempo, clave, estructura musical, syncro con otros performances, etc.) Un kit de desarrollo está disponible por lo que es fácil de envolver cualquier código C o C++ como un plugin de Vamp, compatibilidad con Python y otras mejoras.

Sonic Visualiser es la aplicación de escritorio más potente de omras2 para correr los plugins Vamp o  pistas individuales, así como para ver la salida o realizar modificaciones manuales. Sonic annotator es una herramienta de línea de comando que permite ejecutar plugins fácilmente en todos los archivos de una colección. Ambas aplicaciones son multiplataforma y libres. Sonic Annotator permite que la salida de Vamp sea guardada en una variedad de formatos, en particular en RDF, utilizando la características ontológicas del audio. omras2 Harmonic Visualiser es una nueva aplicación para Windows que permite la visualización y edición de notas individuales dentro de un espectro de llamada polifónicos.

Compartir

Los datos son compartidos en omras2 como RDF, pudiendo ser publicado de manera muy sencilla a la web y accediendo directamente a través de HTTP, o almacenado en un triple store (una base de datos RDF). Datos RDF se puede navegar como convencionales páginas web HTML y como documentos RDF son hiper-vinculados de una manera similar. La aplicación omras2 GNAT se puede utilizar para escanear todos los archivos de audio en una base de datos y generar un documento RDF vinculando la información existente en la web. Se utiliza en paralelo con Sonic annotator, siendo que esto le permite automáticamente crear partituras para cada tema de su colección y para vincularlos con información de alta calidad editorial como el catálogo de grabación MusicBrainz. Para que sea más sencillo de usar anotaciones RDF en su propio código, omras2 proporciona tutoriales sobre el uso de las bibliotecas estándar de cliente RDF en C + + y Java.

Recuperación

El software de recuperación musical omras2 en la actualidad consta de dos motores de búsqueda basados en contenido de audio. audioDB es un poderoso motor de búsqueda de alto nivel que puede encontrar pasajes de música correspondientes en grandes colecciones de audio. Soundbite es una aplicación ligera que genera listas de reproducción.

Siguiente…

La investigación en curso en omras2 incluye

* El despliegue de las «maquinas de conocimiento» – Máquinas que se sirven de RDF través de la web y son capaces de hacer sobre la marcha procesamiento de audio y escritura mediante plugins Vamp, y
* El desarrollo de la lógica basada en motores de inferencia para crear nuevos conocimientos de una red existente de datos RDF, por ejemplo, deducir las reglas de la armonía de la información sobre los acordes individuales.

Algunos módulos de escritura ya están disponibles como servicios dinámico RDF, incluyendo un servicio acorde etiquetado que trabaja con la entrada MIDI.

Gracias Lifo Fernandez por siempre hacernos conocer este tipo de demenciales cosas!!