Creé un motor de búsqueda personal con OpenAI y Pinecone

Tabla de contenidos:

1. ¿Qué es un motor de búsqueda personal?
2. ¿Por qué construí un motor de búsqueda personal?
3. Pasos para construir el motor de búsqueda personal
   • Obtener los datos
   • Hospedar los datos
   • Escribir la aplicación web de búsqueda
4. ¿Qué son los vectores de embebido y cómo funcionan?
   • Búsqueda semántica
   • Similaridad coseno
5. ¿Por qué necesitamos recursos de computación en la nube?
   • La dificultad de realizar la búsqueda en un equipo local
   • La necesidad de usar recursos de computación en la nube
   • Elección de Pinecone como recurso en la nube
6. Construcción de la interfaz de usuario del motor de búsqueda
   • Herramientas utilizadas (Neovim, Next JS y Tailwind CSS)
   • Funcionalidades de la aplicación web
   • Limitaciones y posibles mejoras
7. Cómo probar el motor de búsqueda personal y contribuir al proyecto
   • Enlace al repositorio de GitHub
   • Uso de claves de la API de OpenAI y Pinecone
   • Costos asociados y recursos adicionales
8. Conclusiones y agradecimientos
   • Resumen del proyecto y sus beneficios
   • Agradecimientos a los espectadores y enlaces relacionados

🔍 ¿Qué es un motor de búsqueda personal?

Un motor de búsqueda personal es una herramienta que permite realizar búsquedas en contenido personalizado en lugar de buscar en todo Internet. En este caso, se trata de un motor de búsqueda creado por mí, para mí, con la finalidad de buscar a través de todo el contenido que he creado en Internet.

🤔 ¿Por qué construí un motor de búsqueda personal?

La idea surgió cuando descubrí las capacidades de las incrustaciones de OpenAI. La API de OpenAI ofrece una solución para la búsqueda semántica, que tiene una mejor comprensión del significado detrás de las palabras. Esto me pareció un proyecto interesante y decidí construirlo en aproximadamente un día.

Pasos para construir el motor de búsqueda personal

El proyecto se dividió en tres etapas principales: obtener los datos, hospedar los datos y escribir la aplicación web de búsqueda.

Paso 1: Obtención de los datos

Para obtener los datos, convertí todos mis videos de YouTube en texto utilizando la API de transcripción de YouTube. Afortunadamente, esto fue bastante sencillo gracias a unas pocas líneas de código en Python. Obtuve las transcripciones de todos mis videos de YouTube, las cuales ya estaban divididas por oraciones y con marca de tiempo.

Paso 2: Hospedaje de los datos

Una vez que tenía todas las oraciones de los videos, necesitaba obtener los vectores de incrustado correspondientes utilizando la API de OpenAI. Estos vectores permiten realizar operaciones matemáticas en ellos y realizar búsquedas semánticas. Sin embargo, debido al tamaño de los datos, no era factible realizar la búsqueda en un equipo local. Por lo tanto, opté por utilizar Pinecone, un recurso en la nube que proporciona una fácil gestión de los vectores de incrustado.

Paso 3: Escritura de la aplicación web de búsqueda

Con la configuración de backend y hosting lista, llegó el momento de construir la interfaz web del motor de búsqueda. Utilicé Next JS y Tailwind CSS para desarrollar la aplicación. La funcionalidad de la aplicación era sencilla: tomar un término de búsqueda, enviarlo a la API de incrustado de OpenAI, recibir el vector correspondiente y enviarlo a la API de Pinecone para obtener los cinco mejores resultados de búsqueda.

¿Qué son los vectores de incrustado y cómo funcionan?

Los vectores de incrustado son una forma de representar el texto como vectores, lo que permite realizar operaciones matemáticas en ellos. Esto facilita la búsqueda semántica, ya que puede identificar palabras que tienen un significado similar pero se escriben de manera diferente. La similaridad coseno es una medida comúnmente utilizada para determinar si dos términos de búsqueda son similares basados en la dirección de los vectores de incrustado.

¿Por qué necesitamos recursos de computación en la nube?

Debido al tamaño del archivo de vectores de incrustado (972 megabytes), realizar la búsqueda en un equipo local sería lento y requeriría mucho cálculo. Por lo tanto, es necesario utilizar recursos de computación en la nube para facilitar este proceso.

Construcción de la interfaz de usuario del motor de búsqueda

Para construir la interfaz de usuario del motor de búsqueda, utilicé herramientas como Neovim, Next JS y Tailwind CSS. Aunque mis habilidades de diseño no eran las mejores, logré desarrollar una aplicación web funcional y útil. Pinecone fue una herramienta especialmente útil, ya que permitía agregar metadatos a los vectores y mostrar el enlace y la marca de tiempo relevantes en los resultados de búsqueda.

Cómo probar el motor de búsqueda personal y contribuir al proyecto

Si deseas probar el motor de búsqueda personal y contribuir al proyecto, puedes encontrar el repositorio de GitHub en el siguiente enlace. Para utilizarlo, asegúrate de tener tus propias claves de API de OpenAI y Pinecone. También ten en cuenta que hay costos asociados al incrustar todo el texto, pero son bastante económicos. Además, en el repositorio de GitHub encontrarás los cuadernos utilizados en este proyecto.

Conclusiones y agradecimientos

En resumen, este proyecto me permitió construir un motor de búsqueda personalizado para buscar a través de mi contenido en Internet. Agradezco a todos los espectadores por su apoyo y los invito a explorar el motor de búsqueda personal y dejar sus comentarios y sugerencias para mejoras futuras.

¡Muchas gracias y nos vemos en el próximo proyecto! ¡Hasta luego!