Sensores de imagen y visión con integración vertical para aplicaciones de inteligencia artificial

I+D+i en arquitecturas de sensores de imagen y visión con tecnologías de integración vertical.

Investigador principal

Ángel Rodríguez Vázquez

Sede

US

Tecnología

T1) IoT

T2) Robótia

T3) Realidad aumentada/virtual

Sector

2

Agentes agregados

Empresa: Teledyne-Anafocus (https://teledyne-anafocus.com)

OPI: Universidad de Sevilla

Resumen de la propuesta

I+D+i en arquitecturas de sensores de imagen y visión con tecnologías de integración vertical para afrontar los retos de la IA en sectores TIC, con el objetivo final de desplegar sensores de visión miniaturizados, de altas prestaciones y mínimo consumo, en el mayor número de sistemas, con énfasis en: IoT, Automoción, Robótica.

En concreto, se consideran tres arquitecturas: a) una basada en SPADs para de medición del tiempo de vuelo; b) una de alto rango dinámico que combina operación basada en eventos con formato de datos de salida de los APS estándar; c) una de bajo ruido y alta velocidad.

Objetivo del proyecto

Objetivos globales:

  • Píxeles y sensores que exploten la integración vertical para abordar retos no resueltos de la estrategia a medio término de Teledyne-Anafocus.
  • Arquitectura y disposición de los bloques (ADCs, TDCs, memorias, amplificadores, etc.) de los canales de lectura para optimizar el rendimiento con integración vertical e incrementar el paralelismo.
  • Avance en el desarrollo en varias fases de una tecnología de integración vertical que sea explotable a medio plazo por Teledyne-Anafocus.

Objetivos específicos:

  • Medida de tiempo-de-vuelo y captación de imágenes 3D.
  • Captación de escenas HDR a tasas de video, con respuesta adaptativa en función de los valores locales de iluminación, y sin degradación de la relación señal-a-ruido.
  • Captación de imágenes con muy bajos niveles de ruido, por debajo de 0.25erms, vía el uso de múltiples muestras correlacionadas y memorias locales.

Se integrarán  prototipos operacionales (nivel TRL7) de al menos un sensor de imagen completo basado en las arquitecturas de píxel estudiadas, con la idea de alcanzar los niveles TRL8 y TRL9, y llegar al mercado, en el plazo de dos años desde el comienzo del proyecto.

Resultados esperados, indicadores

Indicadores (esperados hasta el 31/12/2021)

  • Nuevo personal investigador (equivalente anual): 1 investigador pre-doctoral.
  • Patentes: al menos 1 patente con alcance europeo.
  • Nº contratos transferencia: 2 contratos de transferencia
  • Congresos: Participación en 6 congresos.
  • Publicaciones indexadas: Al menos tres publicaciones en revistas situadas en el primer cuartil (Q1-JCR) describiendo las arquitecturas de sensores propuestas.
  • Tesis doctorales: Una tesis doctoral focalizada en la temática del proyecto.

Justificación potencial impacto tecnológico del proyecto (TRL)

Las actividades están en la hoja-de-ruta del agente empresarial. Los retos corresponden a especificaciones de sus clientes, que requieren nuevos conocimientos y tecnologías. Los subyacentes, hasta el TRL 5 inclusive, han sido validados bien por dicho agente o por el grupo US; es decir, se han diseñado y validado chips prueba de concepto en entornos relevantes. En el caso de bajo ruido, el agente tiene ya productos (TRL 9), aunque sin integración vertical.

El proyecto pretende llegar mínimo al nivel TRL 7, con una transición muy rápida al TRL8 y 9, y un horizonte de mercado fijado en 2022.

Avances

Esta sección complementa el informe de seguimiento reportado en Diciembre de 2020. Los avances del proyecto se articulan alrededor del diseño de un de un prototipo de sensor de imagen en una tecnología CMOS de180 nm - ver Figura 1. Este circuito integrado contiene varios sensores y circuitos de interés para el proyecto, descritos en dicho informe previo. Una vez finalizada su fabricación, se procedió al diseño de una placa de circuito impreso (PCB) sobre la que se están testando todos los sensores y circuitos integrados.

Las actividades actuales se centran en los dos últimos paquetes de trabajo planificados en la ejecución del proyecto. Específicamente éstos son: ‘Test de los sensores’ y ‘Documentación de los resultados’. Los resultados del test se detallarán a continuación y documentación de los resultados obtenidos, en el siguiente apartado del presente informe de seguimiento.

Test de los sensores:

Se describe a continuación los resultados del test de cada uno de los sensores integrados:

  • Sensor de imagen asíncrono de alto rango dinámico de 128 × 128 píxeles con capacidad de recolección de energía solar. El test se encuentra muy avanzado. Se ha verificado la correcta funcionalidad del sensor. Éste es capaz de funcionar de forma autónoma, captando energía del entorno, con condiciones favorables de iluminación. Alternativamente, en condiciones de uso que impliquen niveles de iluminación bajos, puede ser alimentado con fuentes externas con, operando con un consumo de energía muy reducido. Se han obtenido medidas que permiten comparar las ventajas de la arquitectura propuesta frente al estado-del-arte. Se espera proceder a la publicación de los resultados en breve.
  • Conversor DC-DC de tipo Dickson. Se ha verificado su correcta operación. Se utiliza para alimentar al sensor anterior cuando opera en modo de recolección de energía.
  • Dos prototipos de sensores solares asíncronos con 64 × 64 píxeles. Se ha verificado su operación, Los resultados obtenidos son muy prometedores y superan el estado del arte en cuanto a prestaciones de consumo de energía, latencia, consumo de ancho de banda y velocidad de respuesta. Ambos tienen potencial para ser explotados industrialmente. Por ello, se ha redactado una patente que protege las arquitecturas propuestas, antes de proceder a la publicación de los resultados.
  • Píxeles prototipo de tipo DVS (Dynamic Vision Sensor) para formación de imágenes en microscopios electrónicos de barrido (SEM). Están siendo testados en la Universidad de Cádiz con un microscopio de tipo SEM, adquirido con financiación estatal para la compra de equipamiento científico-técnico avanzado. El IP del proyecto participó en la solicitud de la financiación recibida. La puesta a punto del microscopio se ha retrasado con respecto a lo previsto, ya que se ha tenido que acondicionar un laboratorio específicamente para ello. Las funciones básicas del microscopio ya están operativas. Hemos obtenido resultados preliminares que nos guiarán en el diseño futuro de píxeles optimizados para este escenario particular de aplicación.
  • Píxeles prototipo para recolección de energía.Se ha probado e iniciado su caracterización. Estos resultados servirán de apoyo en difusión de los resultados de los sensores previos. También, nos guiarán en el diseño futuro de otros píxeles.
SENSORES DE IMAGEN_CEI-07

Figura 1: Fotografía del circuito integrado, con dimensiones de 5 X 5 mm2. Los sensores funcionan bien en zona inversa o en modo foto-voltaico con tres objetivos diferentes:

  • Permitir la captación de energía del entorno.
  • Reducir el consumo de potencia en modo de procesamiento.
  • Facilitar la incorporación de técnicas de visión asíncrona y por eventos para aplicaciones con altos niveles de escasez (“sparsity”). Por ejemplo, navegación espacial en base al seguimiento de objetos.

Los sensores funcionan tanto en modo de conteo como en modo de integración, por lo que pueden medir tanto eventos individuales como energía.

 

SENSORES DE IMAGEN_CEI-07_2

Figura 2: Resultados preliminares obtenidos durante el test de los sensores fabricados. De izquierda a derecha: las dos primeras imágenes son capturas tomadas con el sensor HDR sin alimentación externa. La tercera fotografía muestra el sensor solar y su banco de pruebas. La imagen de la derecha muestra la interfaz usada para testar el sensor solar. La región de color blanco corresponde con la región de píxeles iluminada por el sol. El resto de píxeles están inactivos.

Patentes

Tras la revisión técnica realizada con la empresa especializada en patentes PONS IP, se ha registrado en la Oficina Española de Patentes una solicitud de patente que describe las arquitecturas de sensores solares propuestas. El título de la misma es: ‘SENSOR SOLAR ASÍNCRONO DE BAJO CONSUMO’ (número de patente ES1650.138). Actualmente, se encuentra en estado de revisión. Los resultados que protege la patente ya pueden ser publicados en paralelo.

Congresos

La pandemia ha reducido el número de participaciones previstas para este año. Estamos redactando un artículo que describe la arquitectura de uno de los sensores solares asíncronos. Se enviará la conferencia ESSCIRC (European Solid State Circuits Conference, https://www.esscirc-essderc2021.org/. Se trata de una conferencia altamente competitiva y de interés industrial, donde los integrantes del grupo han hecho contribuciones en repetidas ocasiones. El artículo se enviará para su evaluación el 19 de abril de 2021.

Tesis doctorales

Se contrató con cargo al proyecto al investigador Rafael de la Rosa Vidal. Éste dará continuidad al trabajo que está realizando en el proyecto mediante la realización una tesis doctoral de interés industrial. Recientemente, se ha inscripto en el programa de doctorado de la Universidad de Sevilla bajo la tutela académica de los dos directores del proyecto. En paralelo, ha realizado una solicitud de beca pre-doctoral en la convocatoria Formación del Profesorado Universitario (FPU) de ámbito nacional.

Revistas científicas

Actualmente, hay dos artículos en revisión con resultados del proyecto. En las siguiente revistas respectivamente:

  • IEEE Transactions on Mechatronics
  • IEEE Sensors Journal

La primera fue enviada en enero y está siendo evaluada. La segunda fue enviada en diciembre de 2020. En febrero de 2021, para esta última, se recibió un informe técnico por parte del editor asociado de la revista, recomendando una revisión de algunas secciones del artículo. Tras ello, se han realizado nuevas medidas, ampliado algunas secciones del artículo y contestado a los comentarios técnicos de los revisores.

En breve, se procederá también a la publicación de los sensores que están siendo testados. Durante los tres próximos meses, se redactarán una primera publicación describiendo el sensor de alto rango dinámico y otras dos describiendo los sensores solares. Está previsto que los resultados se envíen a revistas de alto impacto e interés industrial. Opciones preferentes son:

  • IEEE Solid-State Circuits Magazine
  • IEEE Sensors Journal
  • IEEE Transactions on Circuits and Systems-I