Uma solução IA para deficientes visuais? Conheça o Projeto VigNET!

Tabela de Conteúdos

1. Introdução
2. A Importância de Ajudar Pessoas com Deficiência Visual
3. Desafios do Dia-a-Dia para Pessoas com Deficiência Visual
4. A Tecnologia a Favor da Inclusão
5. O que é o VQA App
6. Como Funciona o VQA App
7. Arquitetura da Solução
8. Modelagem de Dados e Modelos Utilizados
9. Implementação e Desenvolvimento do App
10. Demonstração do VQA App
11. Resultados e Conclusão
12. Melhorias Futuras e Próximos Passos

💡 Destaques

• Desenvolvimento de um aplicativo de câmera inteligente para auxiliar pessoas com deficiência visual.
• Combinação de reconhecimento de imagem e processamento de linguagem natural para responder perguntas sobre objetos do cotidiano.
• Uso de modelos de aprendizado profundo para melhorar a precisão das respostas.
• Integração de tecnologias de conversão de fala em texto e texto em fala para tornar o aplicativo mais acessível.
• Possibilidade de treinar o modelo para reconhecer e responder perguntas sobre documentos.

☁️ Introdução

Helen Keller uma vez disse: "Não há melhor maneira de agradecer a Deus por sua visão do que ajudar alguém no escuro". Infelizmente, mais de 338 milhões de pessoas no mundo sofrem de deficiência visual. Diante desse cenário, apresentamos o VQA App, um aplicativo revolucionário que transforma o mundo visual em uma experiência auditiva para pessoas com deficiência visual.

🔎 Importância de Ajudar Pessoas com Deficiência Visual

Pessoas com deficiência visual enfrentam desafios únicos em seu dia-a-dia. Embora suas experiências possam parecer semelhantes às de pessoas sem deficiência, tarefas simples podem se tornar complexas. Coisas como encontrar um par de meias ou diferenciar um frasco de shampoo de um condicionador podem ser desafios diários. Essas pessoas precisam apenas de uma mão amiga para realizar essas tarefas, ou simplesmente uma ajudinha para enxergar o mundo ao seu redor.

🌐 A Tecnologia a Favor da Inclusão

A tecnologia educacional de hoje oferece um ambiente onde a deficiência visual não é uma barreira para o sucesso. Com isso em mente, nosso objetivo com este projeto foi desenvolver um aplicativo de câmera inteligente que fornece informações sobre quem e o que está ao seu redor. Esse tipo de aplicativo é especialmente útil para pessoas com deficiência visual, pois permite que elas façam perguntas sobre o mundo ao seu redor, assim como fariam a um amigo.

✨ O que é o VQA App

O VQA App (Visual Question Answering App) é um aplicativo desenvolvido para responder perguntas sobre objetos comuns que um usuário pode encontrar no dia-a-dia. Ele utiliza técnicas de processamento de linguagem natural e reconhecimento de imagem para compreender as perguntas feitas em linguagem natural e fornecer respostas precisas e relevantes.

📱 Como Funciona o VQA App

O VQA App possui uma interface simples e intuitiva. Basta abrir o aplicativo, tirar uma foto ou fazer o upload de uma imagem e fazer uma pergunta sobre o objeto na imagem. O aplicativo utilizará modelos de aprendizado profundo para analisar a imagem e compreender a pergunta, fornecendo uma resposta em formato de texto e também em formato de áudio. Dessa forma, o usuário terá uma experiência totalmente inclusiva.

⚙️ Arquitetura da Solução

A arquitetura do VQA App é composta por diferentes componentes que trabalham em conjunto para fornecer uma experiência perfeita. O processo envolve um cientista de dados que constrói um modelo e um usuário que interage com o aplicativo, enviando imagens e fazendo perguntas. O aplicativo utiliza contêineres para fornecer resultados aos usuários, aproveitando serviços como Google Cloud Storage.

🗃️ Modelagem de Dados e Modelos Utilizados

Para desenvolver e treinar o VQA App, utilizamos o conjunto de dados VQA, que contém mais de 120.000 imagens com perguntas relacionadas a cada imagem. Com base nesse conjunto de dados, criamos diferentes modelos de aprendizado profundo, como redes neurais convolucionais (CNNs) combinadas com redes neurais recorrentes (RNNs) e modelos baseados em LSTM. Testamos diferentes combinações de modelos e técnicas de pré-treinamento para melhorar a precisão das respostas.

💻 Implementação e Desenvolvimento do App

Durante o desenvolvimento do VQA App, utilizamos a abordagem de desenvolvimento ágil. Coletamos dados, realizamos a pré-processamento e armazenamos os dados em buckets do Google Cloud Storage (GCS). Construímos um modelo de referência e, em seguida, aprimoramos esse modelo utilizando diferentes abordagens, como redes neurais convolucionais móveis e transformers de BERT. Implementamos os diferentes componentes do aplicativo em contêineres Docker e os implantamos no Google Cloud Platform (GCP) usando o Google Cloud Registry.

🔍 Demonstração do VQA App

Agora é hora de demonstrar todo o potencial do VQA App. Com uma interface amigável, os usuários podem tirar uma foto ou fazer o upload de uma imagem e fazer perguntas sobre os objetos na imagem. A resposta é apresentada tanto em formato de texto quanto em formato de áudio, tornando o aplicativo acessível para pessoas com deficiência visual. Durante a demonstração, o aplicativo mostrou sua capacidade de reconhecer e responder perguntas corretamente em tempo real.

📊 Resultados e Conclusão

Os resultados obtidos com o VQA App foram bastante promissores. A precisão das respostas melhorou significativamente em comparação com o modelo de referência inicial. O uso do modelo VILT (Vision-Language Transformer) aumentou a eficiência em até 10 vezes em comparação com abordagens anteriores. O aplicativo mostrou-se capaz de fornecer respostas precisas em tempo real, tornando-se uma ferramenta valiosa para pessoas com deficiência visual.

🚀 Melhorias Futuras e Próximos Passos

Apesar dos resultados positivos, ainda há espaço para melhorias. Planejamos aprimorar o treinamento do modelo utilizando conjuntos de dados mais realistas e específicos para cenários do mundo real. Além disso, trabalharemos no reconhecimento e resposta a perguntas relacionadas a documentos, expandindo ainda mais a utilidade do aplicativo para pessoas com deficiência visual.

❓ FAQ

Q: O VQA App está disponível em quais plataformas? R: Atualmente, o aplicativo está disponível para Android e iOS.

Q: Como posso contribuir para o desenvolvimento contínuo do VQA App? R: Aceitamos doações e sugestões de melhoria. Entre em contato conosco através do nosso site para saber como ajudar.

Q: O VQA App é gratuito? R: Sim, o VQA App está disponível gratuitamente para download e uso básico. Oferecemos também uma versão premium com recursos adicionais.

Q: O aplicativo está disponível em português? R: Sim, o VQA App está disponível em português e vários outros idiomas.

🌐 Recursos

• VQA App - Site Oficial
• Google Cloud Platform
• VQA Dataset