Logotipo de Universidad de Sevilla
VICERRECTORADO DE INVESTIGACIÓN
Logotipo Andalucía Tech
Letras Universidad de Sevilla

Proyecto de investigación


Visión ultra-rápida por eventos y sin fotogramas. Aplicación a automoción y robótica cognitiva antropomorfa

Responsable: Alejandro Linares Barranco
Tipo de Proyecto/Ayuda: Plan Nacional del 2009
Referencia: TEC2009-10639-C04-02
Fecha de Inicio: 01-01-2010
Fecha de Finalización: 31-10-2013

Empresa/Organismo financiador/es:

  • Ministerio de Ciencia e Innovación

Equipo:

Resumen del proyecto:

En proyectos nacionales y europeos anteriores se ha puesto de manifiesto el gran potencial de la tecnología AER (Address Event Representation) para sensar y procesar visión a muy alta velocidad, así como para actuar sobre los subsistemas de percepción y accionamiento en el ámbito de la Neuro-robótica. En visión convencional, una cámara de video capta secuencias de fotogramas, cada uno de los cuales debe ser tratado por sofisticados algoritmos si se quieren realizar tareas procesamiento y reconocimiento automático (en automoción, robótica, etc). AER se basa en un concepto diferente, imitando la estructura y codificación de información del cerebro. En AER cada pixel del sensor emite eventos de información cuando “capta” un determinado nivel de alguna propiedad visual (movimiento, contraste, luminosidad, …). De esta manera, la salida del sensor es un flujo continuo de información (espacial y temporal) que no está restringida a fotogramas discretos. Este flujo de información visual se lleva a una estructura jerárquica, que imita la corteza cerebral, y que va extrayendo información relevante de una manera contínua y paralela evento tras evento, sin esperar a fotogramas. La filosofía AER permite construir sistemas neurocorticales escalables: por ejemplo, para aumentar el catálogo de objetos a reconocer se añaden más módulos AER en paralelo sin que el sistema pierda velocidad (al igual que ocurre en el cerebro).

A nivel mundial trabajan hoy, sobre las premisas de la tecnología AER, un número reducido, pero creciente, de grupos de investigación. Se han construido gran variedad de sensores (no solo visuales), se han desarrollado los primeros microchips para procesamiento neurocortical, y comienzan a aparecer trabajos para aplicar AER a la actuación mecánica en robótica y otras aplicaciones. En proyectos de investigación (nacionales y europeos) recientes los investigadores de la presente propuesta han desarrollado varios sensores para visión, han desarrollado los primeros módulos de procesamiento neurocortical suficientemente genéricos programables y configurables para permitir ensamblar estructuras corticales para reconocimiento de objetos 3D, y han contribuido al desarrollo de la actuación motora para aplicación en robótica de manipulación, introduciendo como primicia dispositivos de integración perceptual visual y táctil. Se ha demostrado, en síntesis, el reconocimiento de objetos a muy alta velocidad, y la capacidad modular y de escalado de los sistemas AER.

Sin embargo, hasta la fecha, todo lo desarrollado son elementos muy experimentales, con una orientación más bien de prueba de concepto, pero sin aplicaciones de interés industrial. El objetivo de la presente propuesta es dar los pasos necesarios para desarrollar un conjunto de demostradores, validando esta novedosa técnica de sensado y procesado de visión y actuación mecánica para aplicaciones interesantes en el sector industrial. En concreto, se han elegido dos ámbitos de aplicación. El primero, la automoción donde se pretende desarrollar un demostrador barato y compacto, capaz de realizar determinadas tareas de reconocimiento a alta velocidad. El segundo, la robótica, donde se pretenden desarrollar varios demostradores de coordinación tactil-visual-motora de alta velocidad para tareas de manipulación compleja.

La figura siguiente muestra un esquema de la estructura de módulos y tareas con el objetivo de visualizar fácilmente la idea global del proyecto. De arriba abajo se distingue entre módulos y tareas puramente de hardware y los puramente de software. De izquierda a derecha se separa entre aspectos puramente de visión, aspectos puramente de actuación mecánica, y aspectos híbridos en que se han de combinar la visión y la actuación como la fusión sensorial y la coordinación visual-motora. Finalmente todo se integra en los demostradores.

Estructura VULCANO

Ministerio de Ciencia e InnovaciónFEDER - Union Europea

Vicerrectorado de Investigación. Universidad de Sevilla. Pabellón de Brasil. Paseo de las Delicias s/n. Sevilla