Seeing AI

Visão geral

O Seeing AI foi projetado como um instrumento assistivo de autonomia diária para a comunidade cega e de baixa visão. O projeto nasceu dentro das iniciativas de pesquisa e acessibilidade da Microsoft, combinando algoritmos de reconhecimento óptico de caracteres, detecção de padrões visuais e síntese de voz para transformar a câmera de smartphones em um leitor e intérprete instantâneo do mundo físico.

A operação do aplicativo divide-se em canais especializados acessíveis por gestos simples na tela. Cada canal atende a uma tarefa específica do cotidiano: leitura instantânea de textos curtos em correspondências ou placas, digitalização estruturada de documentos com orientação de enquadramento por voz, identificação de produtos via código de barras, conferência de cédulas de dinheiro e detecção de cores ou intensidade luminosa no ambiente.

Para a exploração detalhada de espaços e fotos, a ferramenta incorpora recursos de descrição de cenas com inteligência artificial generativa. Os usuários podem capturar imagens do cômodo ou selecionar arquivos da galeria e ouvir uma narrativa contextualizada do que está visível, com a possibilidade de tocar em diferentes partes da tela para identificar a posição relativa de móveis, pessoas e objetos, além de formular perguntas em linguagem natural para interagir com o conteúdo de documentos escaneados.

No aspecto de privacidade e processamento técnico, o sistema equilibra agilidade e segurança. Tarefas operacionais básicas, como a leitura de textos breves e o reconhecimento de cédulas, ocorrem localmente no dispositivo para garantir resposta imediata mesmo sem sinal de internet. Análises visuais complexas e consultas a documentos são processadas na infraestrutura em nuvem da Microsoft sob políticas estritas de proteção de dados pessoais e acessibilidade corporativa.

Recursos e funcionalidades

• Leitura instantânea de textos e placas: Fala em voz alta pequenos fragmentos de texto assim que aparecem no campo de visão da câmera sem necessidade de tirar foto.
• Digitalização guiada de documentos: Orienta o usuário por comandos sonoros a enquadrar as bordas da página e transcreve o texto com formatação preservada.
• Conversa interativa com documentos: Permite formular perguntas sobre o documento digitalizado para localizar valores, datas ou resumir conteúdos rapidamente.
• Reconhecimento de pessoas e expressões: Identifica conhecidos cadastrados e estima idade aproximada, gênero e expressões emocionais de pessoas ao redor.
• Identificação de produtos e códigos de barras: Emite bipes sonoros para guiar o leitor até o código de barras e anuncia o nome do produto e dados da embalagem.
• Descrição tátil de cenas: Narra o ambiente capturado e permite explorar os elementos visuais e sua distribuição espacial ao deslizar o dedo pela tela.

Casos de uso

• Autonomia em compras e despensas: Localização de itens no supermercado e diferenciação de embalagens de remédios e alimentos em casa.
• Leitura de correspondências e cardápios: Consulta rápida a contas de serviços, cardápios impressos, placas indicativas e contratos sem intermediários.
• Navegação em ambientes internos: Verificação de fontes de luz acesas e disposição de móveis ou pessoas presentes em salas de reunião.
• Interação com fotos recebidas: Compreensão dos detalhes de imagens enviadas em aplicativos de mensagens ou redes sociais.