Construí um mecanismo de busca de imagens

Tabela de conteúdos

• Introdução
• O Problema com o Google Image Search
• Construindo o seu próprio mecanismo de busca de imagens
  • Usando JavaScript e Weeviate
  • O que é um banco de dados vetorial
  • Como a representação vetorial permite pesquisas por semelhança
  • Os benefícios do uso de redes neurais pré-treinadas
• Configurando o ambiente
  • Criando um novo projeto Node.js
  • Instalando o cliente TypeScript do Weeviate
  • Executando o Wev8 localmente com Docker
  • Verificando se a instalação foi bem sucedida
• Construindo o mecanismo de busca
  • Inicializando o cliente da API
  • Obtendo o esquema do banco de dados
  • Criando um novo esquema
  • Armazenando imagens no banco de dados
  • Fazendo consultas por semelhança de imagens
• Conclusão
• Recursos adicionais

Construindo o seu próprio mecanismo de busca de imagens

Você já se deparou com a situação em que precisava de imagens, mas não queria usar o Google Image Search porque as imagens tinham marcas d'água de empresas de fotografia? Como desenvolvedor, uma solução óbvia seria construir o seu próprio mecanismo de busca de imagens do zero. E graças à magia das redes neurais e dos bancos de dados vetoriais, isso pode ser feito facilmente em apenas cinco minutos. Neste artigo, iremos utilizar JavaScript e um banco de dados vetorial chamado Weeviate para construir um mecanismo de busca que recebe uma imagem como entrada e encontra imagens similares a ela.

O problema com o Google Image Search 🖼️

O Google Image Search é uma ferramenta amplamente utilizada para encontrar imagens na internet. No entanto, ela possui algumas limitações. Uma delas é o fato de as imagens frequentemente terem marcas d'água de empresas de fotografia, o que pode ser indesejado em certas situações. Além disso, o Google Image Search pode não priorizar a relevância das imagens de acordo com os critérios individuais do usuário. Portanto, construir o seu próprio mecanismo de busca de imagens permite contornar essas limitações e obter resultados mais personalizados e de Alta qualidade.

Construindo o mecanismo de busca 🛠️

Para construir o nosso mecanismo de busca de imagens personalizado, iremos utilizar a linguagem de programação JavaScript e um banco de dados vetorial chamado Weeviate. Essa combinação nos permite aproveitar redes neurais pré-treinadas e bases de dados vetoriais para realizar pesquisas por imagens semelhantes.

O que é um banco de dados vetorial?

Um banco de dados vetorial é diferente dos bancos de dados tradicionais, que armazenam dados em colunas e linhas com diversos tipos de dados diferentes. Um banco de dados vetorial converte cada objeto em um array numérico chamado vetor. Objetos semelhantes, como imagens que se parecem, terão representações vetoriais semelhantes, o que os agrupa em um espaço vetorial chamado embedding. Essa representação em vetor permite fazer consultas com base na proximidade ou semelhança das imagens.

Como a representação vetorial permite pesquisas por semelhança

A mágica por trás dessa capacidade está nas redes neurais pré-treinadas. No caso das imagens, utilizaremos a ResNet-50. O Wev8 tem outros vectorizers baseados em diferentes tipos de dados com os quais você pode trabalhar. Com essa arquitetura pré-treinada, podemos criar as representações vetoriais, ou embeddings, das imagens.

Para utilizar o Weeviate, é necessário ter o Node.js instalado. Você também precisará criar um novo projeto Node.js e instalar o cliente TypeScript do Weeviate. Isso pode ser feito executando alguns comandos simples no terminal. Depois de configurar o ambiente, podemos iniciar a construção do nosso mecanismo de busca.

Configurando o ambiente

Antes de começarmos a construir o mecanismo de busca, precisamos configurar o ambiente. Primeiro, criaremos um novo projeto Node.js executando o comando npm init no terminal. Isso criará um arquivo Package.json, que é usado para gerenciar as dependências do projeto. Em seguida, instalaremos o cliente TypeScript do Weeviate digitando npm install weeviate --save no terminal. Isso instalará uma biblioteca que nos permitirá interagir com o Weeviate usando TypeScript.

Depois de instalar o cliente do Weeviate, precisaremos executar o Wev8 localmente usando o Docker. O Wev8 é um serviço em nuvem, mas para fins de demonstração, executaremos localmente. Certifique-se de ter o Docker instalado no seu sistema. Se você ainda não possui o Docker, recomendo instalar o Docker Desktop, pois é a maneira mais fácil de configurá-lo. O Docker Desktop está disponível para Windows, macOS e Linux.

Uma vez que o Docker esteja configurado, você precisará executar um comando para iniciar o Wev8 no seu sistema local. Esse comando é fornecido pelo Weeviate e é usado para configurar a infraestrutura necessária para o banco de dados vetorial. Após executar o comando, o Docker começará a baixar as imagens necessárias e então iniciará os containers.

Construindo o mecanismo de busca

Agora que nosso ambiente está configurado, podemos começar a construir o mecanismo de busca de imagens. Primeiro, precisamos inicializar o cliente da API, apontando-o para o banco de dados local que configuramos anteriormente. Em seguida, utilizaremos o cliente para obter o esquema atual do banco de dados. O cliente nos permite encadear vários métodos juntos para executar várias operações relacionadas ao banco de dados. Para obter o esquema, chamaremos o método schemaGetter() do cliente, que retorna uma promessa que executa a consulta. Certifique-se de aguardar a conclusão dessa promessa antes de prosseguir para que possamos exibir o resultado no console.

Uma vez que tenhamos o esquema do banco de dados, podemos criar um novo esquema personalizado para o nosso mecanismo de busca. No caso de imagens, precisamos fornecer um nome de classe (como "Meme") e especificar o vetorizador que será usado para vetorizar as imagens. Para nosso exemplo, escolheremos o vetorizador image2vec-neural, que utiliza uma rede neural pré-treinada para criar os embeddings das imagens.

Após definir o esquema, podemos utilizar o cliente para criar essa classe no banco de dados. Essa etapa é semelhante a uma migração de banco de dados em outros sistemas de gerenciamento de banco de dados tradicionais. Para isso, chamamos o método classCreator() do cliente e passamos o nome da classe e a configuração do esquema como parâmetros. Em seguida, aplicamos essas alterações ao banco de dados chamando o método apply().

Agora que temos o esquema configurado, podemos começar a armazenar imagens no banco de dados. Para fazer isso, primeiro precisamos converter as imagens no formato base64. Para isso, utilizamos o módulo readFileSync() do sistema de arquivos do Node.js para ler uma das imagens e, em seguida, convertemos a imagem lida em um buffer e, por fim, em uma STRING base64. Uma vez que temos a imagem em base64, podemos armazená-la no Weeviate utilizando o método dataCreator() do cliente. Passamos o nome da classe (nesse caso, "Meme") e as propriedades correspondentes ao esquema (como "image" e "text"). Isso armazenará a imagem no banco de dados Weeviate.

Agora que já construímos o nosso mecanismo de busca de imagens, podemos realizar consultas por semelhança de imagens. Para fazer isso, precisamos fornecer uma imagem como entrada e encontrar as imagens no banco de dados que sejam mais semelhantes a ela. Podemos fazer isso utilizando a API GraphQL disponibilizada pelo cliente do Weeviate.

Conclusão 🎉

Parabéns! Agora você possui o seu próprio mecanismo de busca de imagens personalizado. Utilizando JavaScript e o banco de dados vetorial Weeviate, você aprendeu como construir um mecanismo de busca que recebe uma imagem como entrada e encontra imagens similares. Essa abordagem utiliza redes neurais pré-treinadas e técnicas de banco de dados vetoriais para criar resultados mais personalizados e de alta qualidade. Lembre-se de continuar explorando essas tecnologias e experimentando diferentes implementações para aprimorar ainda mais o seu mecanismo de busca.

Recursos adicionais 📚

• Weeviate
• Documentação do Weeviate
• GitHub do Weeviate
• Repositório com o código-fonte completo do projeto

FAQ:

1. Quais são as vantagens de construir meu próprio mecanismo de busca de imagens?

   • Ao construir o seu próprio mecanismo de busca de imagens, você tem controle total sobre os resultados e pode Personalizá-los de acordo com as suas necessidades e preferências. Além disso, você pode evitar o uso de imagens com marcas d'água de empresas de fotografia, o que pode ser útil em certos casos.

2. Eu preciso saber programação para construir meu próprio mecanismo de busca de imagens?

   • Sim, é necessário ter conhecimentos básicos de programação, especialmente na linguagem JavaScript. No entanto, existem muitos recursos e tutoriais disponíveis online para ajudá-lo nesse processo.

3. Posso utilizar o Weeviate para outros tipos de dados além de imagens?

   • Sim, o Weeviate é uma plataforma flexível que suporta diversos tipos de dados. Além de imagens, você também pode utilizar o Weeviate para fazer pesquisas por semelhança em texto e outros tipos de dados.

4. Existem alternativas ao Weeviate para construir um mecanismo de busca de imagens?

   • Sim, existem outras alternativas disponíveis, como o Pinecone e o MinesDB. Cada uma dessas alternativas possui suas próprias características e funcionalidades exclusivas. Recomendo explorar essas opções e escolher aquela que melhor atenda às suas necessidades.

5. É possível integrar o mecanismo de busca de imagens com outras tecnologias, como inteligência artificial (IA)?

   • Sim, é possível integrar o mecanismo de busca de imagens com outras tecnologias, como IA. Por exemplo, você poderia usar técnicas de processamento de linguagem natural para melhorar a relevância dos resultados de pesquisa ou até mesmo gerar descrições automáticas para as imagens encontradas. As possibilidades são infinitas!