ARTÍCULOS
DESARROLLO DE UN ROBOT EXPLORADOR OPERADO MEDIANTE NEUROSEÑALES
DEVELOPMENT OF A ROBOT EXPLORER OPERATED BY NEURAL-SIGNALS
Marco A. Soler V.1 Harold A. Rodríguez A.2 César A. Peña C.3
1. Ingeniero mecatrónico, Universidad de Pamplona Norte de Santander, Colombia. E-mail: jab02mc@hotmail.com.
2. M.Sc. Ingeniero Mecánico, Coordinador de investigaciones facultad de diseño e ingeniería, TECNAR, Centro Calle del Cuartel # 36-48, Cartagena de indias - Colombia. E-mail: harold.rodriguez@tecnar.edu.co.
3. Ph.D. Ingeniero Electromecánico, Docente Universidad de Pamplona Norte de Santander, Colombia. Email: cesarapc@unipamplona.edu.co. Universidad de Pamplona Norte de Santander, Ciudad Universitaria, Pamplona, Colombia.
Recibido: 4 de noviembre de 2014. Aceptado: 19 de Diciembre de 2014.
Received: November 4th, 2014. Accepted: December 19th, 2014.
RESUMEN
Se presenta el desarrollo de una aplicación con una interfaz cerebro computadora encargada de leer las neuroseñales del usuario, la misma tiene por objeto controlar un robot explorador tipo oruga tele-operado. Para la medición de las ondas cerebrales emitidas por el usuario se emplea un casco Epoc que cuenta con 14 electrodos para la lectura y 2 de referencia, seguidamente se interpretan las señales obtenidas visualizadas en la interfaz API (Interfaz de Programación de Aplicaciones), para luego realizar un enlace con una interfaz en Matlab, desde la cual se envían datos de forma inalámbrica (RF) por medio de tarjeta XBEE al micro-controlador de la plataforma robótica; se usa para tal fin una interfaz en Guide de Matlab. La finalidad de la aplicación es sentar desarrollo y aplicación de nuevas tecnologías a la exploración y detección de amenazas, búsqueda y rescate de personas en las zonas de desastre u otros ambientes afines.
Palabras clave: EMOTIV EPOC, electrodos, suite, robot, giroscopio, interfaz, XBee.
ABSTRACT
This paper proposes an application for hull Epoc that has a brain computer interface responsible for reading the user's brain activity; it is to control a robot explorer tele-operated caterpillar. For the measurement of brain waves emitted by the user employing a helmet which has electrodes 14 and 2 to the reference reading, then the signals obtained are interpreted displayed on the API (Application Programming Interface) to then make a link with a Matlab interface from which data is sent wirelessly (RF) sent XBEE card to micro-controller of the robotic platform, used for the purpose of an interface in Matlab Guide. The purpose of the application is to establish development and application of new technologies for exploration and threat detection, search and rescue of people in disaster areas or other similar environments.
Key words: Emotiv EPOC, electrodes, suite, robot, gyroscope, HMI, control XBee.
1. INTRODUCCION
Los recientes acontecimientos alrededor del mundo, en cuanto a desastres naturales se refiere, dan muestra de la fragilidad del ser humano y de la potencialidad a sufrir accidentes de este tipo en cualquier momento, siendo las primeras cuarenta y ocho horas en las que hay mayor posibilidad de ser rescatado para luego recibir atención médica, los equipos de rescatistas tienen por tanto un tiempo reducido para ubicar y poner a salvo las víctimas, en este ámbito los robots llegan a ser el complemento para las labores de búsqueda por cuanto tienen a su alrededor edificios, estructuras colapsadas o a punto de colapsar donde un rescatista pierde tiempo en el reconocimiento del área; en su lugar el envío de robots de mucho menor peso dotados de cámaras, permiten un rápido reconocimiento del entorno, sin representar peligros de nuevos desplomes o de lesiones para las víctimas o del mismo rescatista. Por tal motivo este tipo de robot debe ser de poco peso, dimensionalmente pequeños y mantener un bajo costo para apartar la intranquilidad de no poderlos recuperar en una misión de rescate.
En este desarrollo se busca la integración de nuevas tecnologías que permitan el uso de los robots de una manera fácil permitiendo que cualquier persona con pocas indicaciones entre y pueda reemplazar un rescatista necesitado en el área de desastre o del mismo rescatista con la ventaja de tener sus manos libres para contestar el radio de comunicación o de realizar el apunte de coordenadas o de datos importantes para la misión.
El principio básico de los sistemas BCI y del casco EPOC, es la posibilidad de comunicación a través de un computador basándose íntegramente en información obtenida del análisis de la actividad cerebral [1], ocasionado por hablar, sonreír, gesticular, o mover un grupo muscular sin que exista de por medio ningún otro dispositivo o interfaz para la realización de esta comunicación como teclados, ratones, etc. Aprovechando esta característica se desarrollara una aplicación que pueda controlar una Plataforma robótica tele operada usando para ello un acople hecho a través de una interfaz hombre máquina.
2. MATERIALES Y METODO
2.1 Casco Epoc
En la última década se han estudiado los robots controlados a distancia o tele operados y gracias al incremento en la velocidad de transmisión de datos en los ordenadores, de internet y la aparición de mejores elementos electrónicos y de dispositivos de comunicación; han permitido que los robots se hallen ubicados como complemento en las diferentes áreas producción humana como por ejemplo en la manipulación de sustancias toxicas o perjudiciales para la salud, misiones militares, ejecución de acciones repetitivas con manejo de objetos pesados, exploración planetaria, misiones de rescate entre otros.
La motivación inicial del proyecto fue la innovación de controlar un robot con la mente y de tener la ventaja de mantener las manos libres, que para el enfoque de misiones de rescate es una ventaja en la cual el rescatista puede aprovechar para realizar algún tipo de complemento dentro de la misión, como realizar una comunicación por radio u otras. La necesidad creciente de las personas por dispositivos que le ayuden con la movilidad cuando estas poseen algún tipo de discapacidad ha hecho que se investiguen las señales emitidas en el cerebro humano, dando paso a la aparición de la interfaz cerebro computadora (BCI), que permite al usuario transmitir a una máquina su intención de control reflejada en movimiento externo, este último captado con un acelerómetro multieje ubicado en la cabeza; permitiendo finalmente que las personas sin ningún movimiento corporal, puedan controlar dispositivos que le permitan mejorar su calidad de vida. La empresa Emotiv con su dispositivo Epoc incorpora esta tecnología [2], en un casco (Ver figura 1), el cual registra en alta resolución la actividad cerebral, la procesa y la envía a un ordenador de forma inalámbrica, luego de captar esta señal se procesa y nuevamente de forma inalámbrica se envían las ordenes que finalmente llegarán al robot explorador.
El casco o este nuevo tipo de interfaz hombre máquina, posee sensores para detectar los pensamientos básicos, sentimientos, emociones y gestos expresivos del usuario, adicionalmente EPOC cuenta también con un giroscopio que permite seguir los movimientos de la cabeza del usuario [2].
2.2 Sistema mecánico y electrónico
Para el desarrollo del robot TEK, se adquirieron las orugas, servo-motores, acrílico, perfiles de aluminio, ejes y a partir de acá se comenzó el diseño mecánico y electrónico a la par. Para el diseño del robot se utilizó software CAD, el esquema final se puede observar en la figura 2.
La plataforma robótica catalogada como del tipo explorador es de pequeñas dimensiones, de estructura robusta y bajo peso, que además cuenta con un sistema de dos orugas para su tracción donde las frontales tienen función de acople a terrenos elevados o agrestes. Algunas de sus características se observan en la tabla 1. Para su comunicación se implementa las tarjeta XBee serie dos y una cámara inalámbrica CM-811.
Para lograr una comunicación desde el pc al robot, se necesita la tarjeta encargada de la interpretación de los datos y el posterior envío de los mismos, el micro-controlador usado el 16f628 [3] por su tamaño de memoria, puente H L293 [4], y dos sócalos que permiten la utilización de XBee[5] serie dos y serie uno, el montaje se observa en la figura 3.
Para acoplar todo el sistema, primero se realizan pruebas de funcionalidad del circuito, a la vez que se configuran las Xbee con el software X-CTU (software para configurar las xbee) [6], como router, ip, red, punto a punto entre otras opciones, para llegar a la configuración en la que se le asignó la dirección de red, la dirección del dispositivo coordinador y la dirección de los dispositivos finales.
Para la programación del microcontrolador se usa el lenguaje C y el compilador CCS y para grabar WINPIC-800. En el pic básicamente se programa que la llegada de datos tenga la misma velocidad de la XBee, 9600 baudios, sin paridad, sin control de flujo; dentro del main se reciben los datos en unos rangos en que trabaja la XBee y de acuerdo a ellos ejecuta una acción dada por el casco Epoc y enlazados por medio de la interfaz gráfica guide de Matlab.
2.3 Interfaz en matlab
La interfaz gráfica cuenta con entrada de video y con diferentes comandos para manejar el robot tek por medio del tablero de control, el cual funciona dando clic de forma manual (flechas) en la interfaz y el prototipo gira para donde se le ordene, y posiciona las orugas delanteras, también se destaca el control desde el casco Epoc, donde se accede usando la suite cognitiva y el giroscopio sumado con la suite expresiva [2], donde para el primer caso se capturan caracteres y para la segunda usando el clic con la acción de apretar los dientes; la anterior es realizada sobre la captura de video (imagen), donde se ejercen finalmente las acciones de movimiento al robot TEK. La programación fue realizada en el Guide de Matlab [7] y su entorno se observa en la figura 4.
2.4 Método
Para iniciar el trabajo con el casco Epoc, se debe tener en cuenta ciertas condiciones necesarias para su correcto funcionamiento como:
Windows Requisitos
• 2,4 GHz Intel Pentium 4 (o equivalente).
• Microsoft Windows XP con Service Pack 2, Windows Vista o Windows 7.
• 1 GB de RAM.
• 50 MB de espacio disponible en disco.
• Puertos USB 2.0 (en función del número de neuroheadsets que desea utilizar al mismo tiempo.[2]
Mac Requisitos
• MAC OS X (10.5.x, 10.6.x, 10.7.x)
• Macintosh basado en Intel
• Disco duro con 500 MB disponibles [2]
Y para trabajar con todo el conjunto el robot explorador TEK y el casco tenemos:
• Tres puertos USB
• Software Matlab R2008b
• ENUTV-4 de ENCORE [8]
• Driver xbee para el caso de usar PC a 64 bits [5]
• Software Emotiv EPOC Control Panel [2]
Una vez se tienen instalados los programas, se verifica la carga en las baterías y en el caso del casco Epoc, cargarlo teniendo en cuenta que no estén montados los electrodos y almohadillas. Se procede entonces a la colocación del dispositivo Epoc, en el software aparecen los sensores los cuales hay que ubicar de manera que entreguen la mejor señal que es la de color verde (gris tono medio), como se observa en la figura 5.
La calidad de la señal en los sensores será:
Negro: sin señal
Rojo (gris oscuro): señal muy baja
Naranja (gris): señal baja
Amarillo (gris claro): señal buena
Verde (gris medio): señal ideal
En la figura 6, se describe el funcionamiento general del sistema.
A continuación se hace el respectivo entrenamiento con el casco Epoc en las suites que se van a usar, en el presente trabajo serán la cognitiva, expresiva, y emulador de mouse. La Suite Cognitiva, figura 7, utiliza un cubo en 3D virtual para mostrar una representación animada de la detección. Este cubo 3D también se utiliza para ayudar al usuario en la visualización de la acción prevista durante el proceso de entrenamiento.
La destreza con la suite cognitiva es una habilidad que mejora con el tiempo. Al aprender a entrenar a distintos estados mentales, reproducibles para cada acción, la detección se hace cada vez más precisa. La mayoría de los usuarios suelen alcanzar sus mejores resultados después de entrenar cada acción varias veces. El sobre entrenamiento a veces puede producir una disminución de la precisión, aunque esto también puede indicar una falta de consistencia y fatiga mental. La práctica y la experiencia le ayudarán a determinar la cantidad ideal de entrenamiento requerido para cada usuario individual [9].
Para obtener una acción deseada solo basta asignar un carácter a cada acción escogida que a su vez co-relacionada con un pensamiento; las acciones pueden ser empujar, tirar, derecha, izquierda y en este trabajo el evento obtenido es usado para la escritura por teclado que es a su vez capturada en el edit text del Guide de Matlab, que finalmente le dará la conducción al robot TEK esto se muestra con la flecha en la figura 8.
La otra manera de ejercer el movimiento en el robot es usando el giroscopio y la suite expresiva en lo concerniente con la acción de apretar los dientes o clench. En este punto se comprueba todo el sistema para la conducción del robot TEK, ejecutando las acciones respectivas sobre la ventana de video obteniendo la orientación deseada por el usuario. Para esta prueba se toma en cuenta que los usuarios desconocen el dispositivo a utilizar, por esta razón se les indicó donde hacer clic o pulsado, usando para ello una ilustración como la observada en la figura 9 y realizando una pequeña rutina de conducción a fin de lograr una familiarización con el sistema antes de efectuar la respectiva prueba como puede observarse en la figura 10.
3. RESULTADOS Y ANALISIS
El rendimiento del sistema dependió en gran parte a la habilidad del usuario y del tiempo en aprender y acostumbrarse al movimiento del giroscopio. Los aciertos en las suites estuvieron influenciadas por la calidad de la señal de los electrodos y en el caso de la suite cognitiva de la concentración obtenida por el usuario durante el entrenamiento, llegando en reiteradas ocasiones a reemplazar el entrenamiento y volver a adiestrar el sistema por otro pensamiento distinto y así obtener un mejor control sobre el avatar, que es un cubo flotante en tres dimensiones. Los ensayos se hacen colocando al robot TEK sobre un circuito o pista (Figura 11), para probar la eficacia del sistema en la conducción con el casco (tablas 2 y 3).
En las tablas 2 y 3 están consignados los datos arrojados en las pruebas por parte de los sensores, la suite cognitiva, la suite expresiva, los tiempos invertidos entre otros; para cinco diferentes sujetos de prueba y las sesiones se realizaron a lo largo de dos semanas ajustándose al tiempo de disposición de cada individuo. Para la captación de señal en la dama y de los caballeros que tenían abundante cabello y con el fin de obtener una señal más rápida y mejor, se saturaron las almohadillas con la solución estéril.
El estado de los sensores registrados fueron los obtenidos en los primeros minutos de captación y se puede observar en la figura 12, es de notar que estos estados a medida que pasaba el tiempo de trabajo tendían a mejorar, tal es el caso que en cierta ocasión todos tomaron la señal de coloración verde o buena.
En el trabajo con la suite cognitiva se observó, que para trabajar con el Epoc el estado de ánimo influye ya que una persona que trabajo en dos ocasiones diferentes la conexión con el avatar fue totalmente opuesta de buena a mala. Antes de comenzar el entrenamiento se deben tener claro los pensamientos a usar como ejecutantes de eventos o acciones; tal es el caso que cuando se piensa en cosas muy parecidas el sistema confunde las ordenes, por tanto es mejor entrenar el sistema con pensamientos que no tengan que ver los unos con los otros y tratar de memorizar rápido, el pensamiento con la acción que está relacionada. En la figura 13, se observan los resultados obtenidos en la prueba.
El trabajo con la suite expresiva se pudo observar que hay un mejor resultado para la sonrisa, apretar los dientes, levantado de cejas (ver figura N° 14); es de anotar que para que una expresión cambie el evento o acción esta debe ser fuerte en señal de tal manera que el campo se llene de color naranja como se puede observar en la figura N° 14, cosa que solo presento los anteriormente mencionados y por tal motivo es que se toman estos para ejercer control en este proyecto, las demás acciones no alcanzaban a generar el evento o acción pertinente. Por último, se debe tener en cuenta que la expresión de la sonrisa es demasiado sensible y tiende a quedarse pegada en las acciones, por tal motivo no es muy recomendable usarla y en caso de hacerlo bajarle la sensibilidad al mínimo y con esto para evitar que se confunda con el de apretar de dientes.
Las suites toman la captura de la señal de los electrodos como un evento, y este genera una acción en el ordenador que puede ser escribir una letra, accionar los botones del mouse, activar las mayúsculas, en la expresiva para recibir sensibilidad debe seleccionarse la opción send para el mouse, y luego entrenar con los gestos.
Los tiempos usados en las prácticas se ilustran en la figura N° 15, donde el promedio del tiempo usado en entrenamiento fue de 31.4 minutos y el promedio del tiempo en circuito fue de 5.13 minutos.
4. CONCLUSIONES
El estado de los sensores que se registraron fueron los obtenidos en los primeros minutos y es de notar que dichos estados con más tiempo de trabajo tendían a mejorar. En el caso de la dama y de los caballeros que tenían abundante cabello; para obtener la señal más rápida y mejor, se saturaron las almohadillas con la solución estéril. Hay ocasiones donde los electrodos no dan señal se concluye que con tres sin señal se puede trabajar; en el caso en que empiezan los electrodos a ponerse de coloración oscura o sin señal, es porque se ha secado la solución estéril y se hace necesario re-hidratarlos.
Por recomendación del fabricante en el caso de quedarse sin batería en el casco se debe desmontar los electrodos para cargarlo por cinco horas y dicha carga dura cerca de ocho horas, esto según el uso. La falta de precisión en alguna de suites se debe al desgaste de los electrodos por el uso y también debido a las diferentes formas craneales originan una ubicación en los sensores no óptima dando como resultado un pobre contacto.
Cuando se usa la interfaz con el emulador del mouse, se debe primero ajustar la sensibilidad de este al gusto del usuario, y realizar movimientos de entrenamiento antes de colocar el accionar por eventos en el modo expresivo de apretar los dientes, todo esto mejorara la conducción del robot Tek por medio de la interfaz.
Cabe resaltar que para el tratamiento de las neuroseñales, se usa por el momento el software del fabricante, sin embargo de forma autónoma se toman las señales y se trasladan a Matlab, en el futuro se quiere procesar la señal y no usar un pc sino un microprocesador, ya que hasta el momento se requiere tener un pc con Matlab, y el software del casco.
5. AGRADECIMIENTOS
Los autores expresan sus agradecimientos a la universidad de Pamplona – Norte de Santander, Colombia, por el apoyo recibido para el desarrollo del proyecto..
6. REFERENCIAS
[1] Fernandez S., Rangel J. Estado del Arte de las Interfaces Cerebrales, VIII Congreso Internacional de Ingeniería Mecánica y Mecatrónica, Abril 2014.
[2] Especificaciones y características casco Epoc Disponible en: https://emotiv.com/epoc.php [consultado 15 de enero 2014].
[3] Microchip Technology Inc. PIC 16f627A / 628A / 648a Data Sheet, 2007.
[4] Texas Instruments Incorporated, L293, L293D Quadruple Half-H Drivers, June 2002.
[5] Digi International Inc., XBee/XBee-Pro RF Modules, 2009, Disponible en: http://www.digi.com [consultado 13 de diciembre de 2013].
[6] Informer Technologies, Inc., X-CTU Software Informer, Disponible en: http://xctu.software.informer.com/ [consultado el 18 de diciembre de 2013].
[7] The MathWorks, Inc., Creating Apps With Graphical User Interfaces in Matlab, Disponible en : http://www.mathworks.com/discovery/matlabgui.html [Consultado enero de 2014].
[8] Encore Electronics, ENUT-A, disponible en: http://www.encore-usa.com/cl/cat/tv-tuner/enutv-4 [consultado febrero 2014].
[9] Emotiv, disponible en: http://www.emotiv.com/apps/epoc-desarrollos.html. [Consultado febrero de 2014].
