Seeing AI

Visión general

Seeing AI nació como una herramienta de apoyo para la autonomía cotidiana de personas ciegas o con visión reducida. Concebido en el marco de los proyectos de investigación en inteligencia artificial y accesibilidad de Microsoft, la aplicación combina algoritmos de reconocimiento óptico de caracteres, visión computacional y síntesis de voz para transformar la cámara de los teléfonos inteligentes en un intérprete auditivo del entorno físico.

La interfaz se estructura en canales funcionales especializados entre los que se puede navegar mediante gestos de deslizamiento. Cada canal responde a tareas concretas de la rutina diaria: lectura instantánea de textos cortos como rótulos o carteles sin necesidad de disparar la cámara, escaneo guiado de documentos con avisos por voz para encuadrar las páginas, reconocimiento de productos mediante códigos de barras, identificación de billetes y detección de intensidad luminosa en la habitación.

Para la comprensión detallada de espacios y fotografías, el sistema incorpora capacidades de descripción de escenas basadas en modelos multimodales. Los usuarios pueden capturar imágenes del entorno o explorar la galería del dispositivo para escuchar una narración del espacio visible, con la opción de tocar distintas partes de la pantalla para ubicar la posición de personas, muebles o puertas, así como formular preguntas en lenguaje natural para localizar datos específicos en documentos digitalizados.

En lo relativo al procesamiento técnico y la privacidad, la plataforma busca una respuesta inmediata y segura. Las operaciones básicas, como la lectura rápida de textos y la identificación de divisas, se procesan localmente en el dispositivo para responder sin conexión a internet. Los análisis visuales avanzados y las consultas sobre documentos se ejecutan en la infraestructura en la nube de Microsoft bajo estrictas normas de protección de la privacidad institucional.

Recursos y funcionalidades

• Lectura instantánea de textos: Lee en voz alta fragmentos breves tan pronto como entran en el campo de visión de la cámara.
• Digitalización asistida de documentos: Guía mediante avisos sonoros para encuadrar las esquinas de la página y transcribir el texto con claridad.
• Preguntas interactivas sobre documentos: Permite formular consultas habladas o escritas para encontrar fechas, importes o resúmenes de textos escaneados.
• Reconocimiento de personas y emociones: Identifica a conocidos guardados en la memoria y estima la edad aproximada y expresión facial de quienes están alrededor.
• Escáner de productos y códigos de barras: Emite señales sonoras de aproximación para localizar el código de barras y anunciar el nombre del artículo.
• Exploración táctil de escenas: Describe detalladamente el entorno fotografiado y permite conocer la disposición espacial deslizando el dedo por la pantalla.

Casos de uso

• Compras y gestión del hogar: Identificación de artículos en el supermercado y distinción entre envases de comida y medicamentos en casa.
• Lectura de facturas y correspondencia: Revisión autónoma de cartas postales, recibos de suministros, menús de restaurantes y carteles públicos.
• Orientación en espacios cerrados: Comprobación de luces encendidas y distribución de sillas o personas en salas de reuniones.
• Comprensión de imágenes compartidas: Exploración de detalles visuales en fotos recibidas por aplicaciones de mensajería o redes sociales.