reacTIVision y TUIO: Un kit de herramientas tangibles para las Superficies Interactivas

Yazmín Magallanes Velázquez.
Universidad de las Américas, Puebla
yazmin.magallanesvz@udlap.mx


Abstract
Esta reseña presenta una descripción de las herramientas de reacTIVision y TUIO como kit en apoyo a las superficies interactivas.
reacTIVision es un conjunto de herramientas de visión por computadora para el seguimiento de la interacción multi-táctil.
TUIO es un protocolo diseñado principalmente como una capa de abstracción para la designación y la transmisión de punteros y los estados de objetos tangibles en el contexto de superficies interactivas.

1. Introducción
El protocolo TUIO y el framework reacTIVision comprenden un conjunto de herramientas para el rápido desarrollo de interfaces de usuario para superficies tangibles y superficies multi-táctiles.
Ambos componentes fueron inicialmente desarrollados para aplicaciones musicales.
El protocolo TUIO fue adoptado por el código abierto con la finalidad de realizar ingeniería inversa en grandes superficies multi-contacto. El acceso a tal variedad de código abierto apoyó la democratización de las nuevas tecnologías tangibles de interfaz multi-contacto. Desde su publicación inicial y lanzamiento en 2005, TUIO y el conjunto de herramientas reacTIVision han sido utilizados con éxito para el diseño y aplicación.


2. Abstracción de superficie tangible
El objetivo inicial de la definición de protocolo TUIO era proporcionar una descripción simple de punteros y los estados de señal del contexto de una mesa de superficie bidimensional. Esta descripción proporciona una solución básica para la implementación de superficies multi-táctiles y el seguimiento de etiquetado de objetos físicos.
El protocolo se basó en TUIO Open Sound Control (OSC), que ha sido ampliamente adoptado para la codificación de datos de control de instrumentos musicales y dispositivos interactivos de propósito general. OSC exitosamente supera las limitaciones de rendimiento del estándar musical de protocolo MIDI.
El escenario de la solicitud inicial para el protocolo TUIO fue definida por el intercambio de datos de control entre dos o más interfaces interactivas.

3. El motor ReacTIVision
La versión 1.4 de reacTIVision soporta seguimiento básico multi-táctil con los dedos. En su última versión introduce varias capas de seguimiento, que mejoran su interpretación. Esto es especialmente importante en las condiciones con movimiento rápido de objetos debido a los gestos expresivos en la interpretación musical.

4. El protocolo TUIO
La especificación del protocolo TUIO original estaba concentrada en las necesidades específicas del proyecto reacTable, principalmente centrándose en objeto etiquetado y el seguimiento de los dedos en el contexto de un escenario de colaboración a distancia, garantizando al mismo tiempo robustez general del sistema distribuido en red.
Un perfil TUIO define dos mensajes centrales: Set y Alive. Los mensajes Set se utilizan para comunicar información sobre el estado del token, tal como la posición, orientación, velocidad y aceleración. Los Mensajes Alive indican el conjunto actual de tokens presentes en la superficie utilizando una lista de identificadores de sesión.
El protocolo de TUIO de nueva generación permitirá incluso la descripción del objeto y sus relaciones, tal como relaciones de contenido o conexiones mecánicas entre objetos.
La actual implementación disponible de seguimiento en su mayoría incluye software multi-táctil basado en visión por computadora, como touché, BBTouch y Community Core Vision. Además las implementaciones del tracker TUIO son basadas en el controlador de hardware, como el Wiimote (dispositivo de control), donde WiimoteTUIO por ejemplo permite el rápido desarrollo de aplicaciones para pizarrones interactivos usando las capacidades IR(Infra Rojas) de seguimiento de un controlador Wiimote y una aplicación de cliente TUIO adecuada. Además de eso, existen puentes TUIO dedicados para hardware multi-touch, tales como los dispositivos de la N-trig, que son utilizados actualmente para la mayoría de las Tablet PC multi-touch.
Iniciativas similares de integración se han comenzado por Windows 7 y Microsoft Surface, que se han extendido para proporcionar apoyo a nivel del sistema TUIO.
También existen una gran variedad de aplicaciones iPhone, que permiten el uso de este dispositivo como un controlador remoto multi-táctil que puede enviar la TUIO sobre su conexión de red inalámbrica.
La implementación de TUIO está disponible para muchos lenguajes de programación tales como Objective C, Python, Smalltalk, Ruby y Actionscript, así como sonido y ambientes multimedia como VVVV, SuperCollider, Chuck u Open Frameworks y también de varios entornos de programación a nivel de reconocimiento de gestos y desarrollo de interfaces tangibles para Java, C # o C ++, que están utilizando TUIO como la capa de entrada común.
Aplicaciones como la NASA WorldWind, Google Earth, Second Life o el motor de juego de Blender se han mejorado con controles multi-táctiles y con la ayuda del protocolo TUIO.
Dentro del sistema X-Window, el cual es comúnmente usado en Linux, el multi-puntero del X-Server MPX recientemente se ha incluido en la rama principal y por lo tanto se ha convertido en un componente estándar de todas las grandes distribuciones de Linux.

5. Conclusiones y trabajo futuro
Se espera que la aplicación del futuro protocolo TUIO 2.0, ofrezca una base sólida para la
realización de superficies interactivas con entornos más versátiles. La labor futura en las interfaces tangibles cambiará el foco a una vista más generalizada de la plataforma TUIO, donde reacTIVision servirá como una implementación de referencia común para definir las características de protocolo, que tiene la intención de abrir un mayor desarrollo de las implementaciones basándose en tecnologías alternativas.

6. Referencias
1. S. Jordà, M. Kaltenbrunner, G. Geiger, and R. Bencina, "The reacTable," Proceedings of the International Computer Music Conference, 2005.
2. J. Y. Han, "Multi-touch sensing through frustrated total internal reflection," SIGGRAPH 2005 Sketches, 2005.
3. M. Kaltenbrunner, T. Bovermann, R. Bencina, and E. Costanza, "TUIO - A Protocol for Table Based Tangible User Interfaces," in GW '05: Proceedings of the 6th International Workshop on Gesture in Human-Computer Interaction and Simulation, 2005.
4. G. Reitmayr and D. Schmalstieg, "An open software architecture for virtual reality interaction," VRST '01: Proceedings of the ACM symposium on Virtual reality software and technology, 2001.

Agentes Inteligentes

El uso de los agentes es una gran ventaja, ya que son entidades capaces de aprender nuestros gustos y actuar tal y como lo haríamos nosotros, pero adelantándose y realizando tareas que nosotros podríamos realizar si dispusiésemos de más tiempo.

Enseguida muestro algunas circunstancias en las que se podrían utilizar los agentes, así como algunas aplicaciones y beneficios de utilizarlos.

Usar agentes cuando:
Proporciona un alto potencial de rendimiento o reduce el riesgo
Puede capturar y conservar conocimientos humanos irremplazables
Puede desarrollar un sistema más consistente que los expertos humanos
Puede proporcionar los conocimientos necesarios en varias ubicaciones al mismo tiempo o en un ambiente hostil peligroso para la salud humana.
Puede proporcionar conocimientos costosos y poco comunes.
Puede proporcionar los conocimientos necesarios para la capacitación y el desarrollo con el propósito de compartir los conocimientos y la experiencia de expertos humanos con un gran número de personas.

Beneficios y algunas aplicaciones:

Reducir tiempo en la realización de tareas monótonas.

Realizar tareas administrativas.

En aplicaciones Industriales como:
• Control de procesos
• Producción

Aplicaciones comerciales (Apoyarnos en la búsqueda y selección de artículos dependiendo de las características que queramos y en un mejor tiempo):

• Gestión de información
• Comercio electrónico
• Monitorización
• Mediador de diferentes fuentes de información

Aplicaciones médicas:
• Monitorización de pacientes.
• Ayudar a la toma de decisiones de un médico mediante el análisis de resultados de un diagnóstico médico.

Entretenimiento:
• Juegos (incorporar personajes virtuales que pueden funcionar de forma casi autónoma).
• Teatro interactivo y cine (donde se permite a un usuario interpretar el papel de un personaje en una obra donde el resto de los personajes pueden ser virtuales).

Estoy consciente de que un agente no puede sustituir las actividades humanas en un 100% pero si pueden ayudar a realizar algunas de ellas e incluso servir como apoyo en la toma de decisiones.