Eyetracking, movimiento e información neuronal

Movimiento de los ojos, movimiento de las ondas

El uso de eyetracking para el diseño de productos es el área que más me interesa personalmente.  En especial el análisis en aplicaciones web (tanto dirigidas al público general como a personal corporativo).  Otras áreas de aplicación en psicología quedan lejos de mi conocimiento (que no interés). Hace no mucho, por ejemplo, aparecía un estudio sobre el search marketing aplicado al turismo y el triángulo de oro de Google .

También se ha tratado la opción de superponer esta información con otros datos generados durante la navegación , como logs de servidor, focus groups, etc.  Lo que sucede es que este tipo de datos ya son externos al usuario. Si el ojo es una fuente secundaria, éstas ya se pueden considerar fuentes terciarias: fruto de la decisión que ha pasado por los filtros del ojo y el cerebro (e incluso la coordinación de movimientos).  Todo esto dando por hecho que están los filtros de valores, cultura, circunstancias en el momento de realizar la acción...

La posibilidad de profundizar en la información de la actividad neuronal del usuario es un paso más en la investigación de la caja negra que supone el cerebro.  Hace años que voy picoteando información sobre este tema, pero (lo acepto) sin poder entrar a fondo. Los precios o la disponibilidad de los dispositivos en relación a la poca prioridad que le doy al tema es el principal obstáculo.

El hecho de acceder a las ondas cerebrales nos aporta una información mucho más cercana a lo que sucede en nuestra mente.  Si no es una fuente primaria, poco le falta.  No está del todo claro qué ondas cerebrales son las más significativas en procesos como el impacto de un banner o la relevancia de un documento, aunque si hablamos de atención estádo anómalo del conocimiento o relevancia , la respuesta puede estar entre las ondas alfa y beta.

La posibilidad de coordinar los datos sobre los movimientos y la actividad cerebral es un doble filtro muy interesante: ni siempre miramos lo que vemos, ni siempre pensamos en lo que estamos mirando.  Establecer correlaciones entre ojos y mente parece una vía interesante para adentrarse en la atención.

Herramientas para la captura del EEG y los movimientos faciales

Entre las búsquedas que realicé antaño me topé con OpenEEG , un proyecto actualmente algo obsoleto que proporciona instrucciones concretas para el desarrollo de software y la producción de hardware (todo con permisos Open Source y Open Hardware) para la creación de estos dispositivos.  La razón por la que hablo de obsolescencia es que los dispositivos presentados van conectados principalmente por el antigo puerto de serie (el mítico COM1), por lo que la velocidad de transmisión de datos y el número potencial de canales de información es más bien escaso.  La actualización para integrar dispositivos USB está mencionada, pero no he sabido encontrar resultados concretos al respecto. En cualquier caso, la capacidad para ensamblar un aparato de estos queda bastante limitada a alguien con conocimientos de eletrónica (o alguien con amigos para este conocimiento que tenga ganas de perder parte de su tiempo libre).

En cualquier caso, el proyecto OpenEEG dispone de una lista bastante interesante de software (libre y propietario) para recoger la información, así como una especificación (modularEEG) para facilitar la comunicación entre hardware y software.

Sobre este último aspecto, creo que en la situación actual, la evolución puede enfocarse hacia un modelo más amplio: algo que pueda aplicarse a la captura de información por el movimiento de todo el cuerpo, donde las ondas cerebrales sean una parte, los movimientos conscientes otro, y los movimientos no conscientes (incluyendo respiración, pulso y sudoración) sea otro.  Y luego, dependiendo del dispositivo, se pueda procesar esta información de acuerdo con la parte que se analiza.

Emotiv EPOC

Después de OpenEEG, mi búsqueda se dirigió hacia otro lado: máquinas ya ensambladas que realicen este proceso de recogida de datos, recopilando la información pertinente (varios canales / electrodos que recojan la actividad en varias zonas del cerebro), y dejando la tarea pendiente de procesar esta información. Es decir, máquinas que vuelcan los datos recogidos en crudo, tras lo cual hay un programa que escuche el puerto USB y los procese.  Algo difícil, si además se añade un interés para que todo esto funcione con independencia del sistema operativo...

Para que exista una máquina de este tipo tiene que haber mercado.  En este caso, mercado a consumidores finales, ya que los precios de las máquinas dedicadas a la medicina o cualquier otra actividad en empresas encarece sobremanera el producto (en el primer caso, por los estándares de calidad, y en el segundo, supongo que por los pocos usos que tiene aún).  Desde luego, el sector más proclive a llevar esto a la práctica es el del ocio, y en concreto el del gaming.

Es por eso que al leer sobre el proyecto EPOC de la empresa Emotiv pareció que las cosas se acercaban, que ya faltaba menos.  Este proyecto parecía tener todos los componentes necesarios para ser el nuevo cacharrito de experimentos.  Incluso incluye un conjunto de herramientas de desarrollo de aplicaciones (Software Development Kit - SDK) con dos versiones: SDK estándar y SDK Lite. La diferencia es que en la primera se adquiere un casco, mientras que la segunda dispone de un emulador del casco vía software para el desarrollo de aplicaciones.

El SDK parece proporcionar informaciones (no datos) bastante concretos sobre las emociones o movimientos faciales de la persona. Una aplicación desarrollada con este SDK se podría centrar en el tratamiento de estos estados mentales y no en los datos, porque el SDK ya incorpora los algoritmos de identificación de las señales cerebrales.  No queda claro hasta qué punto es necesario el aprendizaje, un tema que quizá en el futuro cada vez sea menos importante , aunque hoy en día lo es.

Sin embargo, el proyecto sigue estando en fase beta, y además su distribución parece limitada a Estados Unidos (eso indican en el sitio).  Parece ser que la razón de esta beta es la mejora en la interpretación de los datos, imagino que tratando de mejorar el SDK.  Si el precio permite diferenciar la compra por motivos de "curiosidad" o de "ir en serio", creo que actualmente el de este aparato (299 dólares) cae en la segunda opción.

OCZ NIA: Neural Impulse Actuator

Hace poco apareció en Microsiervos una entrada comentando NIA, el que parece ser otro candidato.  El aparatejo en sí es muy simple: el número de sensores se reduce a tres, se recogen los datos de ondas cerebrales y movimientos oculares (no queda del todo claro si parpadeos y movimientos de cejas, o bien llega a desvelar la dirección de los ojos), y tiene un precio bastante asequible: aproximadamente 160 Euros.

Sobre la ubicación de los sensores vale la pena hacer un comentario.  Al ubicarse sólo en el área de la corteza prefrontal, se captura principalmente la actividad derivada de jucio, voluntad y toma de decisiones (Zonas 9, 10 y 11 según las zonas de Brodmann ), y en mucho menor grado en la articulación y comprensión del lenguaje (Zonas 44 a 46 de Brodmann).  Esto quiere decir que todo el resto se descarta: ni emociones, ni actividad de la memoria... el NIA es una suerte de mouse mental, no un procesador completo de señales cerebrales.

Lo que hace es recoger las señales de las ondas cerebrales (recopila y amplifica la señal), y los vuelca en bruto (a modo de stream) a través de un puerto USB.  Prácticamente no hay limpieza de datos antes de su entrada por USB, por lo que el resto es cosa del software proporcionado con el aparato, o bien de cualquier otro software que reciba los datos.

Las opiniones sobre la calidad de la señal que emite el aparato son variadas.  Por el precio y los componentes no se puede esperar una máquina de alta precisión: no es un mouse ni un teclado, es algo bastante más complejo. No será de alta precisión, pero sí imagino que suficiente. Lo que sí indican en el sitio (en realidad es una obviedad) es el riesgo de interferencias en la señal por tener aparatos eléctricos cerca como cargadores, auriculares o móviles.

Buscando en YouTube he encontrado varias referencias al producto.  En general, buscando NIA OCZ hay muestras para todos los gustos, desde reportajes hasta muestras hechas por los propios usuarios.  Dado que mi afición por los videojuegos es prácticamente nula, no sé valorar si el resultado promete.

Sobre la posibilidad de trabajar con Linux, he encontrado el proyecto NIA4Linux , donde se está desarrollando el driver que recoge los datos en bruto.  El análisis previo parece que está en curso (en base al comentario sobre la estructura de los datos que explican en el foro del proyecto ).

Antes de tener algo mínimamente operativo a este nivel, hay una cuestión principal: poder separar la mezcla de señales. Los tres electrodos están transmitiendo (cada uno) señales cerebrales y/o musculares, todo en un mismo paquete de datos. Parece ser que los electrodos laterales aportan información de cada lado (una señal invertida, provocando una especie de efecto estéreo) y un electrodo central que se utiliza como referencia.  Con estos datos, queda por saber qué parte se refiere a actividad cerebral y qué otra se refiere al movimiento ocular.

La identificación de los datos puede ser compleja aunque con el tiempo es posible que se encuentren resultados.  Desde luego trabajando en Windows con el aparato parece más sencillo a priori, ya que con el software proporcionado se puede ver de forma casi instantánea el funcionamiento del aparato. Si el uso va más allá de los juegos, es posible crear un perfil de movimientos de acuerdo con las señales.

Sobre la posibilidad de recoger la información directamente, parece que el principal problema es el de siempre: el problema de acceso a las especificaciones , ya que según explica un moderador del foro de productos de OCZ, es un producto con licencia de terceros, aunque se apuntan los puntos clave para conseguirlo.

Conclusiones y aplicaciones

La época en la que estos aparatitos se puedan aplicar de forma más intensiva parece estar llegando.  Para una aproximación al tema, el OCZ NIA parece un muy buen candidato, mientras que para análisis más profundo el Emotiv EPOC parece el indicado.  Para su uso en entornos Windows su aplicación es casi inmediata, utilizando los drivers que proporcionen sus respectivos fabricantes.  En el caso de Linux, la situación es de stand by, aunque OCZ NIA, por su sencillez y disponibilidad fuera de Estados Unidos actualmente, parece el más indicado a corto plazo.

Respecto a sus aplicaciones (dejando a un lado las que ya existen: juegos, mundos virtuales y demás), me parecen incontables.  Es un nuevo canal de interacción y por ello es potencialmente aplicable a todo lo que se nos ocurra.  La evolución de las interficies va relacionada con la limitación en la capacidad de proceso de los inputs que tienen los ordenadores.  Hace unas pocas décadas el ratón era una entelequia, igual que lo fueron en su momento la interpretación de comandos o el uso de menúes en aplicaciones.  Utilizar este nuevo modo de comunicación es cuestión de tiempo, y también de saber su verdadera utilidad.

Retomando el hilo con el que iniciaba el artículo, una de las posibles aplicaciones que veo en estas herramientas es su aplicación en estudios de producto.  Como herramientas de combinación de los datos oculares y cerebrales parecen muy interesante. Combinar este aparato con una aplicación que envíe el stream a un servidor central, y que combinara el vídeo y voz puede tener un potencial interesante para procesos de beta-testing.

Otra aplicación muy interesante es el e-Learning.  Una interfaz de este tipo puede ayudar en los procesos de evaluación de competencias sin basarse en los contenidos de evaluación.  No se trata de grabar todo el proceso, sino saber el grado de seguridad con el que se desenvuelve un alumno en una tarea, midiendo su nivel de estrés y sus errores, para determinar qué partes son las más complejas.  El uso de agentes inteligentes en ese proceso es un paso más.

Otra aplicación relacionada es una mezcla entre coaching y productividad: capturar la información sobre las tareas diarias delante del ordenador para luego determinar qué distrae, qué mejora el resultado, y cómo tratar las distracciones.

Finalmente, hay otras cuestiones (ahora lejanas) relativas a la convergencia del hardware de interacción.  En los últimos años estamos presenciando la aparición de dispositivos y entornos de trabajo que tratan de mejorar la experiencia de usuario armonizando la interacción y los movimientos naturales del cuerpo.  Entre ellos podemos encontrar escritorios en tres dimensiones, entornos multitouch, sin olvidar iPhones i Wiis.

Lo que me parece factible a medio-largo plazo es que un sistema de comunicación con el cerebro sea el principal impulsor de un sistema unificado de interacción.  Aunque los esfuerzos en investigación deberán ser notables, hay dos factores determinantes en la comercialización de estos dispositivos: el coste y los públicos objetivos.  Es mucho más fácil distribuir un aparato como los anteriores que un par proyector-pizarra.

Además, el software asociado al casco es más fácilmente actualizable que cambiar todo el hardware, por lo que el lanzamiento comercial y el ciclo del producto pueden ser más asumibles para el retorno de la inversión.

Para el potencial comprador, el casco no tiene coste de adecuación del entorno (aparte del aprendizaje del sistema), y puede esperar una vida media de producto más larga, sin grandes costes de mantenimiento debido a consumibles, y con mejoras a medio-largo plazo (con actualizaciones de software).