Sistema de manos libres para ayuda de ensamblaje en Aeronáutica

3325.99-4 PROGRAMAS INFORMÁTICOS (SOFTWARE) TECNOLOGÍA DE LAS TELECOMUNICACIONES Dyna Junio - Julio 2011 • Vol. 86 nº3 • 328/335 Sistema de manos libres para ayuda de ensamblaje en Aeronáutica Diego Borro-Yágüez, Javier Serván-Blanco, Juan Manuel Cordero-Valle, Jairo Roberto Sánchez-Tapia, Fernando Mas-Mórate, Luis Matey-Muñoz Buena Práctica 328 ABSTRACT • Maintenance operations have a great impact on the safety and life expectancy of any product. This is especially true for certain applications within the aerospace industry, which must pass rigorous security checking procedures. Wearable helping systems can help to reduce costs and working time by guiding workers in some specifi c and diffi cult tasks. The purpose of this work is developing a handless and wearable guided system that supports and helps workers in assembly and verifi cation tasks within the aeronautic fi eld. The worker is able to request information for the specifi c task in a non invasive way and also ask the Team Leader for real time technical support and assistance. The system developed has been tested in an aeronautic company (Airbus Military) and its implementation in specifi c assembly tasks assessed. It was found that the proposed system can help workers to make their tasks faster, more accurate and more secure. • Keywords: wearable systems, supporting system, mobile computing, aerospace industry. Sistema de manos libres Sistema de manos libres para ayuda para ayuda de ensamblaje en de ensamblaje en Aeronáutica RESUMEN Las operaciones de mantenimiento tienen un gran impacto en la seguridad y esperanza de vida de cualquier producto, especialmente en ciertas aplicaciones dentro de la industria aeronáutica que tiene que pasar procedimientos muy rigurosos de seguridad. Los sistemas de ayuda llevables (wearable) pueden ayudar a reducir costes y tiempo de trabajo guiando a los operarios en tareas difíciles. El propósito de este trabajo es presentar un sistema de guiado de manos libre y llevable para soporte y ayuda de operarios en tareas de ensamblaje y verificación dentro del campo de la aeronáutica. El operario es capaz de pedir información al sistema sobre una tarea específica de un modo no invasivo así como pedir asistencia técnica al líder del equipo. El sistema desarrollado ha sido probado en una compañía aeronáutica (Airbus Military) y se ha evaluado su implementación en ciertas tareas de ensamblaje. La conclusión de las pruebas ha sido que el sistema ayuda a los operarios a realizar sus tareas de una manera más rápida, precisa y segura. Palabras clave: sistemas llevables, sistemas de soporte y guiado, computación móvil, industria aeronáutica. 1. INTRODUCCIÓN La concepción de una aeronave o cualquier aero-estructura compleja conlleva la síntesis tanto de diseño funcional como industrial para obtener la definición final del producto y su industrialización en términos de Producto, Proceso y Recursos. Actualmente, todo este trabajo es llevado a cabo con procedimientos y métodos asistidos por computador que permiten un trabajo de diseño industrial y funcional concurrente con enormes beneficios: el tiempo al mercado se reduce, es posible crear y mantener un diseño virtual (Fig. 1) que garantiza una ejecución real, el coste global es menor, la calidad del producto mejora, etc. Fig. 1: Diseño Virtual versus Producto Real Diego Borro-Yágüez* Dr. en Ingeniería Informática Javier Serván-Blanco** Ingeniero Industrial Juan Manuel Cordero-Valle*** Dr. en Ingeniería Informática Jairo Roberto Sánchez-Tapia* Dr. en Ingeniería Informática Fernando Mas-Mórate** Ingeniero Industrial Luis Matey-Muñoz* Dr. Ingeniero Industrial * CEIT-TECNUN, Paseo Manuel de Lardizábal, 15 – 20018 San Sebastian. Tfno: +34 943 212800. [email protected]; [email protected]; [email protected] ** AIRBUS Military, Avenida García Morato, s/n – 41009 Sevilla. Tfno: +34 954 596357. [email protected]; [email protected] *** UNIVERSIDAD DE SEVILLA, Escuela Técnica Superior de Ingeniería Informática. Av. Reina Mercedes, s/n - 41012 Sevilla. Tfno: + 34 954 555946. [email protected] Recibido: 31/08/2010 • Aceptado: 15/11/2010 Hands-free wearable system for helping in assembly tasks in aerospace 3325.99-4 PROGRAMAS INFORMÁTICOS (SOFTWARE) TECNOLOGÍA DE LAS TELECOMUNICACIONES Dyna Junio - Julio 2011 • Vol. 86 nº3 • 328/335 Sistema de manos libres para ayuda de ensamblaje en Aeronáutica Diego Borro-Yágüez, Javier Serván-Blanco, Juan Manuel Cordero-Valle, Jairo Roberto Sánchez-Tapia, Fernando Mas-Mórate, Luis Matey-Muñoz Buena Práctica 329 Trabajando con el diseño virtual, todos los procesos de ensamblaje pueden ser testeados en su entorno virtual antes de existir físicamente. De esta forma es posible detectar y corregir problemas industriales y funcionales antes de que ocurran en la realidad con el consecuente ahorro en coste e incremento de la calidad. A pesar de todo, la diversidad de tareas llevadas a cabo en una planta de ensamblaje aeronáutico y su complejidad, implica el uso (en planta) de gran cantidad de documentación técnica y procedimental. Esta documentación es extraída directamente del Producto Virtual en forma de documentos, ilustraciones y esquemas; y enviada a planta a través de un Sistema de Documentación computerizado. Actualmente, los operarios consultan esta documentación técnica a través del Sistema de Documentación antes de realizar la tarea. Esta documentación está compuesta de especificaciones técnica de los sub-ensamblajes o partes del ensamblaje, así como también de técnicas, métodos y restricciones del proceso de ensamblado. La mayor parte de esta documentación es generada por cada aeronave y cambia continuamente con el tiempo y la personalización del producto y sus modificaciones. Estas modificaciones deben ser conocidas por los operarios, por ello el Sistema de Documentación tiene un mecanismo de control que asegura que todas las actualizaciones estén disponibles. Sin embargo, el problema consiste en la dificultad del manejo de la documentación (en formato papel) en ciertos entornos de trabajo (Fig. 2), como por ejemplo dentro de un ala, donde las tareas de ensamblaje pueden llevar mucho tiempo y el espacio para moverse es muy reducido. Otros inconvenientes son la lectura de documentos (datos precisos como pares de apriete, localización de remaches, etc.) en entornos de poca luminosidad y el uso de las manos para esa lectura. Una capacidad adicional en entornos estrechos y complicados de acceder es la comunicación visual y oral (compartiendo información textual y gráfica sobre las tareas) entre operarios y el líder del equipo para soporte técnico, así como funciones de “hombre muerto” que garanticen la seguridad del personal comprobando periódicamente su integridad física. De esta forma se hace necesario diseñar y desarrollar un sistema que permita un acceso de manos libres a la documentación técnica y compartir documentación técnica entre operarios y líder del equipo para soporte técnico y seguridad. Las posibilidades que ofrecen las nuevas tecnologías de la información (TI) hacen factible este tipo de herramientas de ayuda. Las TI han sido implementadas de forma satisfactoria en empresas en la mayoría de sus tareas diarias. En particular, el campo de los gráficos por computador y Realidad Virtual está firmemente establecido en aplicaciones de gestión del ciclo de vida del producto (Product Lifecycle Management, PLM) soportando nuevas formas de diseño 3D y simulaciones que ayudan a los ingenieros a entender mejor qué quieren hacer y cómo pueden lograrlo. Mientras la Realidad Virtual se centra en la interfaz persona-computador combinando gráficos interactivos generados por computador con interacción, el objetivo de otra tecnología llamada Realidad Aumentada es añadir datos generados por ordenador a imágenes reales. Esta información añadida puede variar desde texto explicativo hasta objetos tridimensionales mezclados de forma realista con la escena. Dependiendo de la cantidad de objetos virtuales añadidos a la escena real, [1] propone la taxonomía mostrada en la Fig. 3. Fig. 2: Modelo real versus modelo virtual Fig. 3: Taxonomía Milgram 3325.99-4 PROGRAMAS INFORMÁTICOS (SOFTWARE) TECNOLOGÍA DE LAS TELECOMUNICACIONES Dyna Junio - Julio 2011 • Vol. 86 nº3 • 328/335 Sistema de manos libres para ayuda de ensamblaje en Aeronáutica Diego Borro-Yágüez, Javier Serván-Blanco, Juan Manuel Cordero-Valle, Jairo Roberto Sánchez-Tapia, Fernando Mas-Mórate, Luis Matey-Muñoz Buena Práctica 330 Al contrario que en la realidad virtual, donde se muestra un mundo completamente generado por computador, la realidad aumentada muestra el mundo real aumentado con objetos e información virtuales. Aunque la realidad virtual está muy establecida en compañías para aplicaciones PLM, la realidad aumentada es una tecnología emergente donde la mayor parte de los resultados son en forma de investigación y sistemas experimentales. Existen pocos trabajos aplicados al mundo empresarial. Esto es debido a que las soluciones más populares son las basadas en imagen por su bajo coste y no invasivas al entorno (sin cables), pero requieren un alto coste computacional y su precisión es menor a la de los métodos clásicos. Debido a todo esto, en este trabajo se propone un paso previo a un sistema de realidad aumentada. En lugar de desarrollar un sistema de realidad aumentada que no se llegue a utilizar por operarios debido a su no practicidad en procesos reales, presentamos un sistema de soporte que, haciendo uso de las tecnologías de la información, guíe y ayude a los operarios en sus tareas diarias. El sistema es mínimamente invasivo, de manos libres y wearable usando computación móvil. La validación del sistema ha sido llevada a cabo en la compañía Aeronáutica Airbus Military. Al contrario que muchos estudios en la bibliografía con investigaciones muy buenas pero no prácticas en tareas reales del día a día de una empresa, el sistema que proponemos es capaz de integrarse dentro del sistema real de la línea de ensamblaje final de la empresa. El resto del artículo se estructura de la siguiente manera. La sección 2 presenta una revisión de trabajos relevantes en las tecnologías usadas en este trabajo. En la sección 3 se describe con detalle la arquitectura del sistema desarrollado. Cada uno de los módulos son descritos en las secciones de la 4 a la 7. Los resultados obtenidos y experiencias de Airbus Military probando el sistema en planta con tareas reales se presentan en la sección 8. Finalmente, en la sección 9 se revisan las conclusiones derivadas de este trabajo. 2. ESTADO DEL ARTE A diferencia de las soluciones tradicionales de escritorio, la computación móvil y wearable permite a los usuarios mantener su atención en el entorno real y no en la interfaz. Un recibimiento positivo de nuevas tecnologías por parte de operarios industriales se consigue únicamente cuando esa tecnología ofrece un valor añadido sin que interfiera en su trabajo diario. Los primeros prototipos de aplicaciones basadas en realidad aumentada móvil usaban Head Mounted Display (HMD) conectados a portátiles cargados en la espalda del usuario [2, 3, 4]. Sin embargo, este tipo de dispositivos pesados y aparatosos no alcanzan los requerimientos de un sistema de realidad aumentada que debería ser confortable. La alternativa es el uso de dispositivos móviles como PDAs o smartphones. Existen diversos desarrollos de realidad aumentada usando este tipo de dispositivos con diferentes grados de autonomía del dispositivo móvil, siendo la implementación más común usar el dispositivo móvil como elemento de entrada/salida para visualización e interacción con el usuario y dejando el procesamiento y composición de la imagen aumentada a cargo de un servidor remoto [5, 6]. Esta arquitectura genera un flujo enorme de información entre el cliente y el servidor que a veces no cumple las especificaciones requeridas en ciertas aplicaciones de realidad aumentada. Una arquitectura soportada únicamente por un dispositivo móvil presenta serios problemas de tiempo de procesamiento debido a las limitaciones de hardware. Existen ejemplos documentados usando PDAs [7] o teléfonos móviles [8]. Debido a la limitación de hardware de estos dispositivos, algunos trabajos utilizan el concepto de realidad aumentada bajo demanda donde los objetos virtuales son añadidos a una imagen real capturada en un instante dado [9]. Este concepto es contrario al tradicional donde el aumento de información se realiza en cada frame. También se han desarrollado numerosos proyectos internacionales basados en realidad aumentada y computación móvil. Algunos de ellos enfocados a la interacción personacomputador y la usabilidad de la computación wearable, como por ejemplo WearIT@Work [10] (orientado a la mantenibilidad) y MADAM [11] (orientado a aplicaciones móviles adaptativas). Otros trabajos orientan su esfuerzo en la búsqueda de tecnologías que mejoren la accesibilidad de los recursos disponibles (documentos, vídeos, etc.), como MYCAREVENT [12], CASCOM [13], y AMIRA [14]. Aplicaciones que usan una PDA como cliente que constantemente demanda imágenes aumentadas por un servidor aparecen en el proyecto AR-PDA [15, 16]. Este servidor es el responsable de las tareas asociadas al tracking y al renderizado. En algunos proyectos como SNOW [17] (orientado a la mantenibilidad) o ULTRA [9], se incluyen en las imágenes reales instrucciones de realidad aumentada para mejorar el entendimiento de los contenidos. Proyectos como ARVIKA [18] ofrecen servicios de ayuda en productos técnicos complejos usando realidad aumentada con marcadores (Fig. 4). Fig. 4: Ejemplo de marcadores en ARVIKA 3325.99-4 PROGRAMAS INFORMÁTICOS (SOFTWARE) TECNOLOGÍA DE LAS TELECOMUNICACIONES Dyna Junio - Julio 2011 • Vol. 86 nº3 • 328/335 Sistema de manos libres para ayuda de ensamblaje en Aeronáutica Diego Borro-Yágüez, Javier Serván-Blanco, Juan Manuel Cordero-Valle, Jairo Roberto Sánchez-Tapia, Fernando Mas-Mórate, Luis Matey-Muñoz Buena Práctica 331 Todos los proyectos y trabajos mencionados anteriormente, aunque están basados en realidad aumentada, han quedado en fase de demostradores de tecnología ya sea por su falta de precisión o por su necesidad de intervenir el entorno con marcadores. En cualquiera de los dos casos no se utilizan en el día a día de la empresa por las razones comentadas. Debido al temprano estado de esta tecnología, este trabajo presenta un sistema previo a la realidad aumentada para asegurar su practicidad y uso real en la empresa. 3. ARQUITECTURA Y DISEÑO DEL SISTEMA La convergencia del ordenador, Internet, las comunicaciones y las tecnologías de la información con técnicas de miniaturarización ha colocado a la computación móvil en el umbral de un periodo de crecimiento. Tecnologías emergentes permiten reducir el tamaño, peso y coste de los dispositivos móviles a la vez que se incrementa su capacidad de computación, almacenamiento, pantalla y funcionalidades. La elección del dispositivo de procesamiento y visualización depende del contexto del trabajador: si el operario trabaja fuera del fuselaje de la aeronave, la información se puede presentar en pantallas de plasma localizadas en estructuras cercanas; pero si el operario se encuentra dentro del fuselaje, la información debería presentarse en algún tipo de dispositivo móvil (PDA, TabletPC, UMPC) o algún dispositivo menos invasivo como un HMD monocular. La Fig. 5 muestra un ejemplo conceptual de HMD monocular. Fig. 5: Diagrama conceptual de un HMD monocular Aunque existe un amplio rango de opciones para la visualización de datos, la elección es más difícil si se quiere encontrar un sistema interactivo, no invasivo y de manos libres. Actualmente las tecnologías de visión por computador y de reconocimiento de gestos están todavía en fase de investigación y sin la madurez requerida para un sistema robusto. Teniendo en cuenta todo esto, se ha elegido un sistema de interacción basado en reconocimiento de voz para el sistema que se propone. Para hacerlo lo suficientemente robusto, se ha restringido su uso a un número de palabras clave que el operario usará para pedir servicios al sistema. Las funcionalidades principales del sistema son: videoconferencia, dispositivo hombre-muerto, interacción vía voz y monitorización de las tareas realizadas. La arquitectura sigue un modelo cliente-servidor como ilustra la Fig. 6. Para las tareas del servidor (líder del equipo) se usa un PC de bajo coste suficiente para actuar como nodo central de la arquitectura de red al que se conectarán los clientes móviles (operarios) a través de comunicaciones wireless WLAN. Fig. 6: Arquitectura del sistema Los módulos software se enumeran a continuación y se describirán con más detalle en las siguientes secciones. La librería del gestor de cámara (VideoMan1) es capaz de gestionar cualquier número de cámaras que se conecten al sistema. Usa Microsoft DirectShow e imágenes RGB sin compresión como salida. El módulo visualizador muestra imágenes RGB usando OpenGL, lo que permite una independencia del dispositivo de visualización (monitor, HMD monocular, etc.). Los módulos de encoder y decoder comprimen y descomprimen las imágenes (frames del vídeo) para su envío y optimización del ancho de banda de la red. El módulo de reconocimiento de voz procesa los comandos de voz del operario y visualiza la información demandada directamente del Sistema de Documentación de la empresa (esta base de datos recibe el nombre interno de SIPLA). Finalmente, el gestor de comunicaciones es el responsable de la transferencia (protocolos de red, formato de mensajes, etc.) de datos (audio y vídeo). 1 http://videomanlib.sourceforge.net/ 3325.99-4 PROGRAMAS INFORMÁTICOS (SOFTWARE) TECNOLOGÍA DE LAS TELECOMUNICACIONES Dyna Junio - Julio 2011 • Vol. 86 nº3 • 328/335 Sistema de manos libres para ayuda de ensamblaje en Aeronáutica Diego Borro-Yágüez, Javier Serván-Blanco, Juan Manuel Cordero-Valle, Jairo Roberto Sánchez-Tapia, Fernando Mas-Mórate, Luis Matey-Muñoz Buena Práctica 332 4. MÓDULO GESTOR DE CÁMARA VideoMan es una librería LGPL desarrollada por el CEIT (mantenida ahora bajo licencia LGPL por terceras partes) capaz de gestionar múltiples entradas de vídeo (cámaras USB y Firewire, FrameGrabbers, datos RAW, etc.) usando Microsoft DirectShow (Fig. 7). Las imágenes son visualizadas en OpenGL como texturas independientes. El uso de esta librería gráfica 3D permite futuros desarrollos de funcionalidades de realidad aumentada en el sistema (adición de objetos 2D y 3D sobre secuencias de vídeo). Fig. 7: Librería VideoMan trabajando con dos cámaras USB a. Interfaz Gráfi ca de Usuario La interfaz gráfica de usuario o GUI (Graphical User Interface) ha sido diseñada utilizando el API de las Windows Forms de .NET 2.0 (Fig. 8). Las GUI, tanto del cliente como del servidor, son muy similares con la diferencia que el servidor permite visualizar múltiples cámaras (perteneciente a cada operario) simultáneamente. Además, el cliente dispone de un navegador Web integrado controlado por el reconocedor de voz para acceder al Sistema de Documentación de la compañía. 5. MÓDULOS ENCODER/DECODER Estos módulos son los responsables de comprimir y descomprimir los paquetes de audio y vídeo intercambiados por los nodos del sistema. El formato de los paquetes de vídeo es MPEG4 por su extenso uso en estándares como DivX y XviD. El audio no se comprime ya que consume muy poco ancho de banda. Para estos módulos se ha utilizado la librería de compresión LGPL libavcodec2. 2 http://www.ffmpeg.org/ 6. MÓDULO DE RECONOCIMIENTO DE VOZ El modulo de reconocimiento de voz ofrece un fácil acceso al Sistema de Documentación permitiendo al operario navegar a través de una interfaz Web sin necesidad de utilizar las manos. El sistema analiza ficheros html detectando los links a otras páginas. La navegación se realiza moviéndose secuencialmente, por medio de comandos de voz, a través de los links. Esto es debido a que el Sistema de Documentación de la empresa (Base de Datos SIPLA) está basado en ficheros HTML. El módulo reconocedor se ha diseñado e implementado basándose en Modelos de Markov Ocultos [19]. Este módulo se ejecuta en un proceso separado evitando posibles bloqueos del algoritmo en la aplicación principal. Esta solución permite también tener un reconocedor totalmente desacoplado que puede trabajar en un ordenador diferente al de la interfaz ya que el proceso principal envía el buffer de audio al reconocedor a través de un socket TCP. Fig. 8: GUI del servidor (arriba) y del cliente (abajo) 3325.99-4 PROGRAMAS INFORMÁTICOS (SOFTWARE) TECNOLOGÍA DE LAS TELECOMUNICACIONES Dyna Junio - Julio 2011 • Vol. 86 nº3 • 328/335 Sistema de manos libres para ayuda de ensamblaje en Aeronáutica Diego Borro-Yágüez, Javier Serván-Blanco, Juan Manuel Cordero-Valle, Jairo Roberto Sánchez-Tapia, Fernando Mas-Mórate, Luis Matey-Muñoz Buena Práctica 333 El reconocedor de voz incluye un módulo de navegación que va traduciendo las órdenes reconocidas en secuencias de instrucciones de teclado, de esa manera por una parte se hace independiente del sistema operativo, y por otra parte se hace muy versátil, flexible y adaptable. Algunos ejemplos de comandos permitidos o palabras clave utilizadas para navegar por el sistema son: “página siguiente”, “página anterior”, “enlace siguiente”, “entrar enlace”, “ir a página 80 (por ejemplo)”, etc. En cuanto al entrenamiento del sistema, se han utilizado grabaciones de usuarios reales tratadas con el software GPL Audity3. 7. MÓDULO GESTOR DE COMUNICACIONES Este modulo utiliza el protocolo UDP para la transferencia de datos. Se establecen tres canales de comunicación: control, audio y vídeo. Además, también se establece un canal TCP para enviar la lista de contactos entre el servidor y los clientes. La arquitectura de red se presenta en la Fig. 9. Fig. 9: Arquitectura de red El canal de control se utiliza para establecer las conexiones entre usuarios. Un paquete de control está compuesto por un identificador y varios parámetros dependientes del tipo de mensaje. Su estructura se puede observar en la Tabla 1. Msg ID (1 byte) Param. 1 (1 byte) ,,, Param. n (1 byte) Tabla 1: Formato del paquete de control Existen bastantes tipos de mensajes de control, por ejemplo aquellos relacionados con nuevas conexiones/ desconexiones, envío de parámetros de cámara (para notificar 3 http://audacity.sourceforge.net/ el tipo de cámara que se está usando), búsqueda de clientes en la red, etc. Como se ha comentado previamente, para el envío de la lista de contactos desde el servidor a los clientes se utiliza un canal TCP. Cuando un nuevo cliente se conecta al servidor, este le envía un fichero XML con todos los contactos existentes. De esta manera, el nuevo cliente puede crear videoconferencias con el resto de operarios. La lista de contactos no se almacena de modo local sino que el servidor la envía siempre que un cliente quiera ver dicha lista. De esta forma, un cliente puede enterarse de la conexión de nuevos clientes. La Fig. 10 muestra un ejemplo de lista de contactos. Fig. 10: Fichero XML con la lista de contactos a. Algoritmo de balance de ancho de banda Se ha desarrollado un algoritmo de balance de ancho de banda que es capaz de detectar de forma automática congestiones en la red de comunicaciones. Si se diera el caso, se prioriza la transmisión de voz frente a la de imagen, garantizando la disponibilidad del canal de comunicación. El método implementado mide el ancho de banda analizando la tasa de recepción de tramas de audio. Esto se consigue contando las tramas de vídeo que se transmiten entre dos recepciones de audio consecutivas. Si el valor es menor que una cierta tolerancia, se interrumpe la emisión de vídeo hasta que la tasa de recepción de audio vuelva a niveles aceptables. El nivel de tolerancia se establece como Vfps/Afps siendo Vfp la tasa de transmisión de vídeo deseada y Afps la tasa de transmisión de audio deseada. El ajuste de la tasa de emisión de vídeo se controla de forma dinámica, ajustándose de manera proporcional al retardo en la recepción de las tramas de audio, siendo la cancelación completa de emisión de vídeo el peor de los casos. De esta forma se consigue que el sistema sea capaz de adaptarse a pequeñas fluctuaciones en la disponibilidad del ancho de banda en la red sin llegar a afectar a la comunicación entre los usuarios. Una vez restablecida la tasa normal de recepción de tramas de audio, el sistema comienza a incrementar la tasa de transmisión de tramas de vídeo de forma gradual hasta que se alcanza la capacidad máxima de la red. 3325.99-4 PROGRAMAS INFORMÁTICOS (SOFTWARE) TECNOLOGÍA DE LAS TELECOMUNICACIONES Dyna Junio - Julio 2011 • Vol. 86 nº3 • 328/335 Sistema de manos libres para ayuda de ensamblaje en Aeronáutica Diego Borro-Yágüez, Javier Serván-Blanco, Juan Manuel Cordero-Valle, Jairo Roberto Sánchez-Tapia, Fernando Mas-Mórate, Luis Matey-Muñoz Buena Práctica 334 b. Dispositivo Hombre Muerto El dispositivo “hombre muerto” avisa de forma automática al jefe del equipo en el caso de que un trabajador quede incapacitado. Este sistema resulta de especial interés cuando el operario se encuentra trabajando en lugares de difícil acceso, como es el caso del interior del ala. Este dispositivo funciona en un hilo de ejecución aparte para evitar problemas de bloqueo. Un sintetizador de voz solicita al operario cada cierto tiempo que pronuncie una frase. Si el reconocedor de voz no es capaz de detectar la voz del operario, el dispositivo publica un mensaje de alerta a través de toda la red que es recibido por todas las estaciones conectadas. Esta alerta se emite de forma continuada hasta que el propio operario la cancele de forma manual. El dispositivo “hombre muerto” es completamente independiente del módulo de comunicaciones. De esta forma funciona incluso cuando el trabajador no esté participando en ninguna conversación (basta con tener la aplicación ejecutándose). 8. RESULTADOS EXPERIMENTALES Para el servidor se ha utilizado un PC de escritorio Compaq nc6400 (Intel®Core™ 2CPU 1,83GHz, 1GB RAM). El dispositivo móvil testeado ha sido un Sony Vaio UMPC con procesador Intel®Core™ CPU 1,33GHz, 1GB RAM, 800x600 de display, y una tarjeta wireless integrada IEEE 802.11b. Para la captura de vídeo se utiliza una Webcam Hercules Deluxe 1.3 Megapixels y un D-Link DWL-7100AP 802.11 a/b/g como punto de acceso. Aunque en la actualidad los smartphones son cada vez más potentes, sus procesadores están todavía lejos de llegar a la potencia y versatilidad que ofrece el UMPC escogido. Muchos de los procesadores que incluyen los smartphones pueden llegar a trabajar a frecuencias cercanas a las del UMPC, sin embargo, la tasa de instrucciones sigue estando muy por debajo. Este aspecto influye negativamente en la parte de procesamiento gráfico y de reconocimiento de voz, ya que hacen un uso intensivo de las capacidades de cálculo de la CPU. El sistema ha sido testeado por operarios (Fig. 11) en dos líneas de ensamblado final de Airbus Military en Sevilla (A400M, CN235 and C295). Se realizaron dos tipos de experimentos. El primero es un test de rango para comprobar si el área de trabajo se ve cubierta usando un único punto de acceso. El objetivo del segundo tipo de experimentos es ver si existen cortes en las comunicaciones debido a efectos tipo Jaula de Faraday mientras se trabaja en áreas de acceso complejo como el interior de un cajón del ala del A400M (cajón de fibra de carbono, aluminio y titanio). Ambos tipos de experimentos fueron probados en líneas de ensamblado final con resultados muy aceptables teniendo en cuenta el entorno ruidoso que conlleva una planta. Fig. 11: Probando el sistema en la línea de ensamblado fi nal C295 Los tests consistieron en un conjunto de 18 comandos diferentes. La Tabla 2 resume los experimentos usando el reconocedor de voz. Los valores señalan el porcentaje de aciertos de los comandos por el reconocedor de voz. Test 1 Test 2 Test 3 Test 4 Test 5 Aciertos (%) 76.47 76.47 64.71 70.59 70.59 Tabla 2: Resultados del reconocedor de voz Se puede observar que el porcentaje de aciertos es elevado y se podría aumentar aún más añadiendo sencillos filtros de voz (micrófonos ambientales) para mejorar el rendimiento del sistema en entornos muy ruidosos. Otra mejora consistiría en aumentar el entrenamiento del reconocedor de voz. En cuanto a la videoconferencia, no se dan datos cuantitativos, ya que se comprobó que el sistema se comportaba de forma correcta sin cortes en las comunicaciones debido a efectos tipo Jaula de Faraday. Se ha comprobado que el sistema cubre con facilidad el área de una estación de montaje de 60x60m permitiendo las comunicaciones en entornos confinados. Para la compañía y sus operarios, los resultados han sido muy satisfactorios y el rendimiento del sistema elevado teniendo en cuenta que se utiliza equipamiento de bajo coste. Aunque este trabajo es un prototipo conceptual para testear la viabilidad de mejorar los procedimientos internos de la factoría, los experimentos realizados muestran el claro potencial de esta herramienta así como también todas las mejoras que se pueden hacer para lograr una herramienta final realmente integrado en la línea de ensamblado. 9. CONCLUSIONES El sistema ha resultado de gran utilidad para las tareas diarias del operario ahorrando tiempo, mejorando la calidad del trabajo, y asegurando la seguridad del trabajador. El reconocedor de voz permite un fácil e intuitivo acceso a las instrucciones de ensamblado almacenadas en SIPLA garantizando que la información que se demanda está siempre actualizada. El diseño de la arquitectura modular permite el uso de diferentes dispositivos (visualización, computación, etc.) ofreciendo la mejor solución en todo momento. 3325.99-4 PROGRAMAS INFORMÁTICOS (SOFTWARE) TECNOLOGÍA DE LAS TELECOMUNICACIONES Dyna Junio - Julio 2011 • Vol. 86 nº3 • 328/335 Sistema de manos libres para ayuda de ensamblaje en Aeronáutica Diego Borro-Yágüez, Javier Serván-Blanco, Juan Manuel Cordero-Valle, Jairo Roberto Sánchez-Tapia, Fernando Mas-Mórate, Luis Matey-Muñoz Buena Práctica 335 Una ventaja muy importante es que el sistema está totalmente integrado con la red y recursos de la compañía, lo que permite que cualquier operario pueda acceder a las instrucciones de ensamblado en cualquier momento. Incrementar la productividad de la línea de ensamblado final es un objetivo esencial en un mercado tan competitivo. Una vía para lograrlo es crear herramientas, como el trabajo que se presenta, que permita a los operarios un fácil e intuitivo acceso a la información necesaria así como asegurar la calidad de esa información. Logrando esto último es posible reducir el tiempo de ensamblado y los errores en las tareas. Uno de los retos más importantes de Airbus Military es disponer en planta de la información necesaria de un modo sencillo y que no interfiera con el modo de trabajo normal. 10. AGRADECIMIENTOS Este trabajo ha sido parcialmente subvencionado por la Corporación Tecnológica de Andalucía (CTA). 11. BIBLIOGRAFÍA - Milgram P, Takemura H, Utsumi A, et al. “Augmented Reality: A Class of Displays of the Reality-Virtuality Continuum”. En: SPIE Conference on Telemanipulator and Telepresence Technologies (Boston, USA), 1994. P. 282-292. - Höllerer T, Feiner S, Terauchi T, et al. “Exploring MARS: Developing Indoor and Outdoor User Interfaces to a Mobile Augmented Reality System”. Computer and Graphics. 1999. Vol. 23-6 p. 779-785. - Piekarski W, Smith R, Thomas B. (2004). “Designing Backpacks for High Fidelity Mobile Outdoor Augmented Reality”. En: International Symposium on Mixed and Augmented Reality ISMAR04 (Arlington, USA). 2004. P. 280-281. - Vlahakis V, Ioannidis N, Karigiannis J. “ARCHEOGUIDE: Challenges and Solutions of a Personalised Augmented Reality Guide for Archaeological sites”. Computer Graphics in Art, History and Archaeology, Special Issue of the IEEE Computer Graphics and Applications Magazine. 2002. Vol. 22-5 p. 52-60. - Raczynski A, Reimann C, Gussmann P, et al. “Augmented reality @ Siemens: “The Workfl ow Designer Project” & “Augmented reality PDA””. En: Augmented Reality Toolkit, The First IEEE International Workshop. 2002. - Pasman W, Woodward C. “Implementation of an Augmented Reality System on a PDA”. En: IEEE/ACM Symposium on Mixed and Augmented Reality (ISMAR), 2003. (Tokyo, Japan), P. 276-277. - Wagner D, Schmalstieg D. “First Steps Towards Handheld Augmented Reality”. En: International Conference on Wearable Computers, 2003. (White Plains, NY, USA), P. 127- 135. - Möhring M, Lessig C, Bimber O. “Optical Tracking and Video See-through AR on Consumer Cell-Phones”. En: International Symposium in Mixed and Augmented Reality, 2004. (Arlington, USA), P. 252-253. - Makri A, Arsenijevic D, Weidenhausen, J, et al. “ULTRA: An Augmented Reality system for handheld platforms, targeting industrial maintenance applications”. En: International Conference on Virtual Systems and Multimedia VSMM, 2005. (Ghent, Belgium). - Lawo M, Herzog O, Witt H. “An Industrial Case Study on Wearable Computing Applications”. En: 9th ACM International Conference on Human Computer Interaction with Mobile Devices and Services (MobileHCI), 2007. (Singapore), P. 448- 451. - Alia M, Eide V. S. W., Paspallis N, et al. “A Utility-Based Adaptivity Model for Mobile Applications”. En: IEEE International Conference on Advanced Information Networking and Applications Workshops, 2007. (Niagara Falls, Ont, USA), P. 556-563. - Weiss E, Gehlen G, Lukas S, et al. ”MYCAREVENT - Vehicular Communication Gateway for Car Maintenance and Remote Diagnosis”. En: IEEE Symposium on Computers and Communications ISCC, 2006. (Cagliari, Italy), P. 318 - 323. - Cáceres C, Fernández A, Ossowski S, et al. “Agent-Based Semantic Service Discovery for Healthcare: An Organizational Approach”. IEEE Intelligent Systems. 2006. Vol. 21-6 p. 11-20. - Auriol, E. “AMIRA: Advanced Multi-modal Intelligence for Remote Assistance”. Lecture Notes in Computer Science. 2007. Vol. 4458 p. 51-60. - Beier D, Billert R, Brüderlin B. “Marker-Less Vision Based Tracking for Mobile Augmented Reality”. En: International Symposium of Mixed and Augmented Reality (ISMAR), 2003. (Tokyo, Japan). - Gausemeier J, Fruend J, Matysczok C, et al. «Development of a real time image based object recognition method for mobile AR-devices». En: ACM SIGGRAPH AFRIGRAPH 2003: 2nd International Conference on Computer Graphics, Virtual Reality, Visualisation and Interaction in Africa, 2003. (Cape Town, South Africa), P. 133-139. - Burmeister R, Pohl C, Bublitz S, et al. “SNOW - A Multimodal Approach for Mobile Maintenance Applications”. En: IEEE International Workshops on Infraestructure for Collaborative Enterprises, 2006. P. 131-136. - Wolfgang F. “ARVIKA: Augmented Reality for Development, Production and Service”. En: Proceedings of the 1st International Symposium on Mixed and Augmented Reality, 2002. - Becchetti, C., Prina Ricotti, L. “Speech Recognition: Theory and C++ Implementation”, Ed.: Wiley. 1999.