Centaur Technology: El primer procesador x86 de alto rendimiento con coprocesador de IA integrado

Contenido:

Tabla de contenidos:

1. Introducción
2. Tecnología de Centaur
   1. Historia de Centaur
   2. Fundadores
   3. Desarrollo de la nueva SOC CH
   4. Motivaciones del proyecto
      1. Mercado de la inferencia
      2. Integración de un coprocesador
   5. Objetivos del diseño
      1. Rendimiento por dólar
      2. Baja latencia
      3. Eficiencia de mac
   6. Restricciones y desafíos de diseño
3. Arquitectura del coprocesador in-core
   1. Conectividad y comunicación con los núcleos x86
   2. Estructura física del coprocesador
   3. Pipeline y secuenciador de instrucciones
   4. Unidades y funciones del coprocesador
   5. Instrucciones y programabilidad
4. Pila de software de Centaur
   1. Integración con frameworks como TensorFlow Lite
   2. Procesamiento del grafo y optimizaciones
   3. Bibliotecas de kernels de Centaur
   4. Bibliotecas optimizadas para x86
   5. Resultados de benchmarks y comparación con la competencia
5. Conclusiones y planes futuros
   1. Potencia y rendimiento del coprocesador
   2. Desarrollo continuo y ampliación de la línea de productos

Introducción

En esta ocasión, vamos a explorar la tecnología desarrollada por Centaur, una empresa especializada en la producción de procesadores de bajo costo basados en la arquitectura x86. Centaur ha logrado diseñar un coprocesador in-core de inteligencia artificial (IA) que ofrece un rendimiento excepcional a un costo muy competitivo. En este artículo, exploraremos la historia de Centaur, los fundamentos de su tecnología y los desafíos enfrentados durante el proceso de diseño. También analizaremos la arquitectura del coprocesador in-core, su integración con los núcleos x86 y su capacidad de programabilidad. Además, describiremos la pila de software desarrollada por Centaur y presentaremos los resultados de benchmarks obtenidos por esta innovadora empresa. Por último, discutiremos las conclusiones obtenidas a partir de este proyecto y los planes futuros de Centaur en el campo de la inteligencia artificial.

Tecnología de Centaur

La compañía Centaur fue fundada por Glenn Henry y otros tres expertos, quienes dejaron Dell con la idea de desarrollar un procesador x86 económico. Con motivo del vigésimo quinto aniversario de la empresa, Centaur decidió desarrollar una nueva SOC llamada CH, dirigida a los mercados de servidores en la nube y en el borde. La motivación detrás de este proyecto fue la identificación de un amplio mercado potencial en el ámbito de la inferencia de IA, más allá de las aplicaciones en la nube a gran escala. Centaur inició conversaciones con empresas del sector de la videovigilancia, las cuales buscaban incorporar capacidades de análisis de video basadas en aprendizaje profundo en sus cámaras. Sin embargo, la adición de GPUs a estos sistemas implicaba un aumento de costos y cambios en la forma factor, lo cual no era viable para estas compañías. Ante esta situación, Centaur se planteó integrar un coprocesador en su SOC para abordar estas necesidades sin generar un costo adicional significativo. La idea era aprovechar las características ya presentes en la SOC, como los núcleos x86 y el subsistema de memoria, para ofrecer capacidades de inferencia de IA eficientes y rentables. A lo largo de este artículo, analizaremos en detalle el diseño de este coprocesador in-core y sus características distintivas.

Historia de Centaur

Centaur tiene una larga trayectoria en el diseño y producción de procesadores x86 de bajo costo. La compañía fue fundada en Austin y actualmente cuenta con un equipo de aproximadamente cien personas, encargadas de todo el proceso de desarrollo, desde la arquitectura y el diseño lógico hasta la verificación del silicio y las pruebas del sistema. A lo largo de los años, Centaur ha entregado millones de procesadores x86 a importantes clientes, como IBM, HP, Dell, Samsung e Innovar. Su enfoque en la eficiencia y en ofrecer un rendimiento sólido a un costo asequible ha sido clave para su éxito en el mercado.

Fundadores

Glenn Henry, uno de los cofundadores de Centaur, es un experto en el campo de los procesadores y cuenta con una amplia experiencia en diseño y desarrollo de unidades centrales de procesamiento (CPU). Su sólido conocimiento en arquitectura x86 fue fundamental para el diseño y desarrollo del coprocesador in-core de inteligencia artificial. Glenn Henry dirigió el equipo de ingenieros de Centaur y supervisó todas las etapas del proyecto, incluyendo el diseño RTL, el diseño físico y el desarrollo del software. Además de su experiencia técnica, Glenn Henry también aportó una visión empresarial sólida, lo cual permitió a Centaur crecer y alcanzar el éxito a lo largo de su historia.

Desarrollo de la nueva SOC CH

La nueva SOC CH fue diseñada por Centaur con el objetivo de ofrecer un rendimiento excepcional en aplicaciones de inferencia de inteligencia artificial. Centaur decidió centrar sus esfuerzos en la mejora de las características x86 existentes, en lugar de desarrollar una arquitectura completamente nueva. Esto le permitió aprovechar el ecosistema de software existente y garantizar la compatibilidad con las aplicaciones de aprendizaje profundo más populares, como TensorFlow y PyTorch. La SOC CH cuenta con ocho núcleos x86, similares en rendimiento a los núcleos de Intel Haswell, y ofrece soporte para instrucciones AVX-512, lo cual brinda un rendimiento aún mayor en aplicaciones de inteligencia artificial. Además, la SOC incluye 16 megabytes de caché L3, cuatro controladores DDR4 y 44 carriles PCIe, lo cual le brinda una gran flexibilidad y capacidades de expansión.

Motivaciones del proyecto

El proyecto de desarrollo del coprocesador in-core de inteligencia artificial de Centaur se basó en dos motivaciones principales. En primer lugar, la empresa identificó un amplio mercado potencial en el ámbito de la inferencia de IA, más allá de las aplicaciones en la nube a gran escala. Centaur se acercó a empresas del sector de la videovigilancia que expresaron su interés en utilizar capacidades de análisis de video basadas en aprendizaje profundo en sus sistemas. Sin embargo, la adición de GPUs a estos sistemas implicaba un aumento de costos y cambios en la forma factor, lo cual se consideró una barrera significativa. Para abordar esta necesidad, Centaur propuso la integración de un coprocesador en su SOC, lo cual permitiría analizar un gran número de flujos de video con un solo sistema sin necesidad de utilizar aceleradores externos costosos. La segunda motivación detrás de este proyecto fue aprovechar las características ya presentes en la SOC de Centaur, como los núcleos x86 y el subsistema de memoria, para ofrecer capacidades de inferencia de IA eficientes y rentables sin costos adicionales significativos. A lo largo de este artículo, analizaremos en detalle cómo Centaur logró superar estos desafíos y diseñar un coprocesador in-core altamente eficiente.

Objetivos del diseño

Antes de comenzar el desarrollo del coprocesador in-core, Centaur estableció una serie de objetivos específicos que guiaron el diseño y la implementación del proyecto. El objetivo primordial de Centaur era ofrecer un rendimiento sobresaliente por cada dólar invertido por el cliente en el sistema. Para lograr esto, el equipo de Centaur se centró en optimizar el diseño de su coprocesador in-core y maximizar la eficiencia del uso de recursos, como las unidades de procesamiento y la memoria. Otra meta importante era alcanzar baja latencia en la inferencia de IA, lo cual permitiría realizar inferencias en tiempo real y ofrecer una experiencia fluida al usuario. Además, Centaur se propuso maximizar la utilización de las operaciones de multiplicación acumulada (MAC) en su coprocesador, lo cual se traduciría en un rendimiento aún mayor. Otro objetivo secundario era ofrecer el mejor rendimiento por vatio posible, aunque Centaur reconoció que para el mercado de servidores en el borde, el rendimiento y el precio eran las principales preocupaciones de los clientes. A lo largo de este artículo, analizaremos cómo Centaur logró cumplir con estos objetivos y ofrecer un coprocesador in-core altamente eficiente y rentable.

Restricciones y desafíos de diseño

Durante el proceso de diseño del coprocesador in-core, Centaur tuvo que enfrentar una serie de restricciones y desafíos. En primer lugar, el equipo de diseño se vio limitado por el área disponible en la SOC y la relación de aspecto de la misma, ya que no tenían control total sobre estas variables. Sin embargo, Centaur logró utilizar el área disponible de manera eficiente y crear un coprocesador in-core altamente escalable. Otra limitación importante fue la disponibilidad de recursos humanos. Centaur es una empresa relativamente pequeña y ya contaba con un equipo ocupado en el diseño de los núcleos x86 y otros aspectos de la SOC. Por lo tanto, fue necesario asignar recursos adicionales para el diseño del coprocesador, incluyendo el desarrollo del software asociado. A pesar de estas restricciones, Centaur logró superar estos desafíos y desarrollar un coprocesador in-core altamente eficiente que cumplió con los objetivos establecidos.

Arquitectura del coprocesador in-core

La arquitectura del coprocesador in-core desarrollado por Centaur presenta diversas características distintivas que lo hacen único en el mercado. Centaur optó por una arquitectura en forma de slice vertical, que resultó altamente eficiente en términos de área y rendimiento. El coprocesador consta de 16 slices, cada uno de ellos con una anchura de 256 bytes, lo cual suma un total de 4096 bytes de memoria SRAM. Esta arquitectura en forma de slice vertical permite una fácil escalabilidad y maximiza la utilización de los recursos disponibles. La comunicación entre las slices se realiza a través de dos anillos de interconexión de 512 bits cada uno, lo cual garantiza una comunicación rápida y eficiente. El coprocesador está diseñado para operar a una velocidad de reloj de 2.5 GHz, lo cual se traduce en un rendimiento máximo de 20 tera operaciones por segundo. A lo largo de este artículo, analizaremos en detalle los componentes clave de la arquitectura del coprocesador in-core y cómo se integran con los núcleos x86.

Conectividad y comunicación con los núcleos x86

Uno de los aspectos más destacados del coprocesador in-core de Centaur es su capacidad de comunicación directa con los núcleos x86. El coprocesador se conecta a los dos anillos de interconexión que atraviesan los ocho núcleos x86 y su caché L3. Esta conexión directa permite una comunicación eficiente y rápida entre el coprocesador y los núcleos x86, lo cual es fundamental para lograr un rendimiento óptimo en aplicaciones de inferencia de IA. Además, el coprocesador cuenta con una interfaz PCIe, lo cual le permite comunicarse con otros dispositivos en el anillo de interconexión, como los controladores de memoria DDR y la caché L3. Esto brinda una gran flexibilidad en términos de conectividad y permite la transferencia eficiente de datos entre los diferentes componentes del sistema. A lo largo de este artículo, analizaremos cómo Centaur aprovechó esta conectividad y comunicación directa para optimizar el rendimiento del coprocesador in-core y lograr una integración perfecta con los núcleos x86.

Estructura física del coprocesador

La estructura física del coprocesador in-core de Centaur es altamente eficiente y escalable. El coprocesador está diseñado en forma de slices verticales, lo cual permite una fácil escalabilidad y maximiza la utilización del área disponible. Cada slice del coprocesador tiene una anchura de 256 bytes, y las slices se pueden agregar según sea necesario para aumentar la capacidad de almacenamiento y procesamiento. Cabe destacar que el coprocesador cuenta con un total de 16 megabytes de memoria SRAM en adición a los 16 megabytes de caché L3. Esta gran capacidad de memoria permite almacenar y procesar grandes volúmenes de datos en tiempo real, lo cual es fundamental para aplicaciones de inferencia de IA. Además, la estructura física del coprocesador está diseñada para operar a una velocidad de reloj de 2.5 GHz, lo cual garantiza un rendimiento sobresaliente en aplicaciones de alto rendimiento. A lo largo de este artículo, analizaremos cómo Centaur logró optimizar la estructura física del coprocesador in-core para ofrecer un rendimiento excepcional.

Pipeline y secuenciador de instrucciones

El coprocesador in-core de Centaur cuenta con un pipeline altamente eficiente y un secuenciador de instrucciones basado en microcódigo. El pipeline del coprocesador está diseñado para ejecutar instrucciones de manera eficiente y en un solo ciclo de reloj. Además, el secuenciador de instrucciones controla todo el pipeline y permite una ejecución rápida y precisa de las instrucciones. Cabe destacar que las instrucciones son de 120 bits de ancho y controlan diferentes aspectos del pipeline y las funciones del coprocesador. El diseño de este pipeline y secuenciador de instrucciones permite una ejecución rápida y eficiente de las instrucciones, lo cual se traduce en un rendimiento excepcional en aplicaciones de inferencia de IA. A lo largo de este artículo, analizaremos en detalle la arquitectura del pipeline y el secuenciador de instrucciones del coprocesador in-core y cómo se integran con los demás componentes del sistema.

Unidades y funciones del coprocesador

El coprocesador in-core de Centaur cuenta con diferentes unidades y funciones que le permiten realizar cálculos complejos y acelerar las operaciones de inferencia de IA. En primer lugar, el coprocesador cuenta con una Unidad de Datos Neurales (NDU, por sus siglas en inglés) que es capaz de realizar operaciones a nivel de bits de manera muy eficiente. La NDU puede rotar filas completas de datos en un solo ciclo de reloj, lo cual es fundamental para acelerar operaciones de procesamiento de imágenes y otros tipos de datos en aplicaciones de inferencia de IA. Además, el coprocesador cuenta con una Unidad de Procesamiento Neuronal (NPU, por sus siglas en inglés) que puede realizar operaciones de enteros de 9 y 16 bits, así como operaciones en formato BFloat16. La NPU puede realizar hasta tres operaciones paralelas en un solo ciclo de reloj, lo cual acelera aún más las operaciones de inferencia y mejora el rendimiento general del coprocesador. Cabe destacar que el coprocesador cuenta con registros de predicción, los cuales son utilizados para controlar el acumulador y realizar operaciones condicionales. En resumen, el coprocesador in-core de Centaur combina unidades y funciones especializadas que permiten acelerar las operaciones de inferencia de IA y ofrecer un rendimiento excepcional en aplicaciones intensivas en cálculos. A lo largo de este artículo, analizaremos en detalle las unidades y funciones clave del coprocesador in-core y cómo se integran en la arquitectura general del sistema.

Instrucciones y programabilidad

El coprocesador in-core de Centaur cuenta con un conjunto de instrucciones específico que permite el control y la programación del coprocesador. Estas instrucciones son microcódigos de 120 bits que controlan diferentes aspectos del pipeline y las funciones del coprocesador. Cabe destacar que estas instrucciones no son necesariamente públicas, ya que Centaur las considera instrucciones de bajo nivel que pueden cambiar en futuras generaciones del hardware. Sin embargo, Centaur reconoce la importancia de la programabilidad y está trabajando en la creación de herramientas y compiladores para facilitar la programación y el desarrollo de aplicaciones personalizadas en el coprocesador in-core. A lo largo de este artículo, analizaremos cómo Centaur está trabajando en la creación de un ecosistema de desarrollo que permita a los usuarios aprovechar al máximo las capacidades de su coprocesador in-core y desarrollar aplicaciones personalizadas de manera eficiente.

Pila de software de Centaur

La pila de software desarrollada por Centaur es una parte fundamental de su tecnología de coprocesador in-core y juega un papel clave en el rendimiento y la programabilidad del sistema. La pila de software de Centaur consta de diferentes componentes, desde bibliotecas de kernel hasta compiladores y drivers de dispositivos. En primer lugar, Centaur ha desarrollado bibliotecas de kernels que son independientes de los frameworks utilizados, como TensorFlow Lite. Estas bibliotecas permiten la integración transparente de aplicaciones de aprendizaje profundo con el coprocesador in-core de Centaur, con solamente unas pocas líneas de código adicionales. Además, Centaur ha desarrollado un compilador de gráficos que optimiza la ejecución de subgrafos en el coprocesador in-core. Este compilador realiza optimizaciones a nivel de gráfico y análisis para determinar las mejores estrategias de ejecución y diseño de búferes para cada operación. El producto final del compilador es un archivo binario llamado "loadable", que puede ser ejecutado por la biblioteca de tiempo de ejecución de Centaur. Esta biblioteca ejecuta el "loadable" en los núcleos x86 y gestiona la ejecución del coprocesador in-core. Además de estas bibliotecas y compiladores, Centaur ha desarrollado implementaciones optimizadas de operaciones comunes en x86, como avx-512, lo cual mejora aún más el rendimiento del sistema en aplicaciones de inferencia de IA.

Conclusiones y planes futuros

En conclusión, el coprocesador in-core de Centaur es un gran avance en el campo de la inteligencia artificial y la inferencia de IA. Centaur ha demostrado que una empresa relativamente pequeña puede impulsar la innovación y ofrecer soluciones altamente eficientes y rentables. El diseño del coprocesador in-core de Centaur se basa en una combinación inteligente de tecnologías existentes, como los núcleos x86 y el subsistema de memoria, con nuevas ideas y enfoques. Esto le ha permitido a Centaur ofrecer un rendimiento excepcional a un costo muy competitivo, superando a competidores con soluciones más costosas y complejas. Centaur ha superado con éxito los desafíos y restricciones del diseño y ha logrado desarrollar un coprocesador in-core que cumple con los objetivos establecidos. Los resultados de los benchmarks muestran que el coprocesador in-core de Centaur ofrece un rendimiento excepcional en comparación con productos de la competencia y una relación precio-rendimiento muy favorable. En cuanto a los planes futuros, Centaur está trabajando en el desarrollo de la próxima generación de sus núcleos x86 y su coprocesador in-core. También están trabajando en la mejora de su pila de software y la programabilidad de su coprocesador. En resumen, Centaur tiene como objetivo seguir entregando soluciones de IA eficientes y rentables, manteniéndose a la vanguardia de la innovación en este campo.