miércoles, 14 de abril de 2010

reacTIVision y TUIO: Un kit de herramientas tangibles para las Superficies Interactivas

Yazmín Magallanes Velázquez.
Universidad de las Américas, Puebla
yazmin.magallanesvz@udlap.mx


Abstract
Esta reseña presenta una descripción de las herramientas de reacTIVision y TUIO como kit en apoyo a las superficies interactivas.
reacTIVision es un conjunto de herramientas de visión por computadora para el seguimiento de la interacción multi-táctil.
TUIO es un protocolo diseñado principalmente como una capa de abstracción para la designación y la transmisión de punteros y los estados de objetos tangibles en el contexto de superficies interactivas.

1. Introducción
El protocolo TUIO y el framework reacTIVision comprenden un conjunto de herramientas para el rápido desarrollo de interfaces de usuario para superficies tangibles y superficies multi-táctiles.
Ambos componentes fueron inicialmente desarrollados para aplicaciones musicales.
El protocolo TUIO fue adoptado por el código abierto con la finalidad de realizar ingeniería inversa en grandes superficies multi-contacto. El acceso a tal variedad de código abierto apoyó la democratización de las nuevas tecnologías tangibles de interfaz multi-contacto. Desde su publicación inicial y lanzamiento en 2005, TUIO y el conjunto de herramientas reacTIVision han sido utilizados con éxito para el diseño y aplicación.


2. Abstracción de superficie tangible
El objetivo inicial de la definición de protocolo TUIO era proporcionar una descripción simple de punteros y los estados de señal del contexto de una mesa de superficie bidimensional. Esta descripción proporciona una solución básica para la implementación de superficies multi-táctiles y el seguimiento de etiquetado de objetos físicos.
El protocolo se basó en TUIO Open Sound Control (OSC), que ha sido ampliamente adoptado para la codificación de datos de control de instrumentos musicales y dispositivos interactivos de propósito general. OSC exitosamente supera las limitaciones de rendimiento del estándar musical de protocolo MIDI.
El escenario de la solicitud inicial para el protocolo TUIO fue definida por el intercambio de datos de control entre dos o más interfaces interactivas.

3. El motor ReacTIVision
La versión 1.4 de reacTIVision soporta seguimiento básico multi-táctil con los dedos. En su última versión introduce varias capas de seguimiento, que mejoran su interpretación. Esto es especialmente importante en las condiciones con movimiento rápido de objetos debido a los gestos expresivos en la interpretación musical.

4. El protocolo TUIO
La especificación del protocolo TUIO original estaba concentrada en las necesidades específicas del proyecto reacTable, principalmente centrándose en objeto etiquetado y el seguimiento de los dedos en el contexto de un escenario de colaboración a distancia, garantizando al mismo tiempo robustez general del sistema distribuido en red.
Un perfil TUIO define dos mensajes centrales: Set y Alive. Los mensajes Set se utilizan para comunicar información sobre el estado del token, tal como la posición, orientación, velocidad y aceleración. Los Mensajes Alive indican el conjunto actual de tokens presentes en la superficie utilizando una lista de identificadores de sesión.
El protocolo de TUIO de nueva generación permitirá incluso la descripción del objeto y sus relaciones, tal como relaciones de contenido o conexiones mecánicas entre objetos.
La actual implementación disponible de seguimiento en su mayoría incluye software multi-táctil basado en visión por computadora, como touché, BBTouch y Community Core Vision. Además las implementaciones del tracker TUIO son basadas en el controlador de hardware, como el Wiimote (dispositivo de control), donde WiimoteTUIO por ejemplo permite el rápido desarrollo de aplicaciones para pizarrones interactivos usando las capacidades IR(Infra Rojas) de seguimiento de un controlador Wiimote y una aplicación de cliente TUIO adecuada. Además de eso, existen puentes TUIO dedicados para hardware multi-touch, tales como los dispositivos de la N-trig, que son utilizados actualmente para la mayoría de las Tablet PC multi-touch.
Iniciativas similares de integración se han comenzado por Windows 7 y Microsoft Surface, que se han extendido para proporcionar apoyo a nivel del sistema TUIO.
También existen una gran variedad de aplicaciones iPhone, que permiten el uso de este dispositivo como un controlador remoto multi-táctil que puede enviar la TUIO sobre su conexión de red inalámbrica.
La implementación de TUIO está disponible para muchos lenguajes de programación tales como Objective C, Python, Smalltalk, Ruby y Actionscript, así como sonido y ambientes multimedia como VVVV, SuperCollider, Chuck u Open Frameworks y también de varios entornos de programación a nivel de reconocimiento de gestos y desarrollo de interfaces tangibles para Java, C # o C ++, que están utilizando TUIO como la capa de entrada común.
Aplicaciones como la NASA WorldWind, Google Earth, Second Life o el motor de juego de Blender se han mejorado con controles multi-táctiles y con la ayuda del protocolo TUIO.
Dentro del sistema X-Window, el cual es comúnmente usado en Linux, el multi-puntero del X-Server MPX recientemente se ha incluido en la rama principal y por lo tanto se ha convertido en un componente estándar de todas las grandes distribuciones de Linux.

5. Conclusiones y trabajo futuro
Se espera que la aplicación del futuro protocolo TUIO 2.0, ofrezca una base sólida para la
realización de superficies interactivas con entornos más versátiles. La labor futura en las interfaces tangibles cambiará el foco a una vista más generalizada de la plataforma TUIO, donde reacTIVision servirá como una implementación de referencia común para definir las características de protocolo, que tiene la intención de abrir un mayor desarrollo de las implementaciones basándose en tecnologías alternativas.

6. Referencias
1. S. Jordà, M. Kaltenbrunner, G. Geiger, and R. Bencina, "The reacTable," Proceedings of the International Computer Music Conference, 2005.
2. J. Y. Han, "Multi-touch sensing through frustrated total internal reflection," SIGGRAPH 2005 Sketches, 2005.
3. M. Kaltenbrunner, T. Bovermann, R. Bencina, and E. Costanza, "TUIO - A Protocol for Table Based Tangible User Interfaces," in GW '05: Proceedings of the 6th International Workshop on Gesture in Human-Computer Interaction and Simulation, 2005.
4. G. Reitmayr and D. Schmalstieg, "An open software architecture for virtual reality interaction," VRST '01: Proceedings of the ACM symposium on Virtual reality software and technology, 2001.

2 comentarios:

  1. Me parece importante que el protocolo TUIO no este casado con ningún sistema operativo o arquitectura de hardware, además de que sea open source ya que permite la libre exploración y modificación para proyectos específicos.

    También en el sitio web de proyecto TUIO están disponibles documentación y código fuente en distintos lenguajes, lo cual nos da oportunidades para empezar a programar bajo este framework.

    ResponderEliminar
  2. Hola,
    Me parece muy interesante el "protocolo TUIO", ya que es posible utilizarlo desde diferentes lenguajes de programación ya que al ser open source permite mayor numero de colaboradores que permitan hacerlo crecer y aportar mas y mejores ideas para su interacción con superficies táctiles.

    ResponderEliminar