MTIA: Aceleradores de IA de Primeira Geração da Meta
Tabela de Conteúdos
- Introdução
- O Papel do AI na Empresa
- Tendências de Modelos de Aprendizado de Máquina
- A Necessidade de Aceleração de Hardware
- O Desenvolvimento do Chip MTIA
- Arquitetura do Acelerador MTIA
- O Software Stack da MTIA
- Avaliação de Desempenho e Eficiência da MTIA
- Próximos Passos para o Desenvolvimento da MTIA
- Conclusão
Introdução
Neste artigo, estamos empolgados em apresentar o MTIA, o primeiro acelerador de IA interno desenvolvido pela Meadow. Com o MTIA, temos o controle completo desde o design do silício até a aplicação de software, o que nos permite personalizar nossas cargas de trabalho de recomendação exclusivas e fornecer IA de ponta para nossos usuários. Neste artigo, discutiremos a importância do MTIA, como ele melhora a experiência do usuário em nossos aplicativos e como ele nos permite oferecer eficiência no desenvolvimento e um TCO melhor em comparação com soluções existentes.
O Papel do AI na Empresa
Os modelos de aprendizado profundo de recomendação (DLRM) desempenham um papel fundamental nos negócios da Meadow, pois são a espinha dorsal de nossos aplicativos, como Facebook, Instagram e WhatsApp. Esses modelos estão em constante crescimento em termos de tamanho e complexidade, o que exige soluções de plataforma de ML que atendam às demandas de ROI esperadas para nossos negócios.
Tendências de Modelos de Aprendizado de Máquina
Uma tendência importante que observamos em modelos de DLRM em produção é o crescimento significativo ao longo do tempo em termos de tamanho do modelo, complexidade e o número de cálculos necessários por amostra. Isso é evidenciado pelo aumento na pegada de Memória do modelo, na complexidade geral do modelo e na quantidade de cálculos necessários por amostra. Para acompanhar esse crescimento, é necessário fornecer soluções de plataforma de ML eficientes que atendam às demandas de crescimento do modelo de IA.
A Necessidade de Aceleração de Hardware
Tradicionalmente, as CPUs eram usadas para servir modelos de inferência em produção nos data centers. No entanto, elas não são uma solução econômica para acompanhar o crescimento dos modelos de IA. A aceleração de hardware pode lidar com os problemas de consumo de energia e desempenho, fornecendo uma maneira muito mais eficiente de atender a solicitações de inferência e também oferecendo um espaço de computação escalável para modelos futuros.
O Desenvolvimento do Chip MTIA
Com base nas limitações dos CPUs e GPUs existentes, decidimos criar o acelerador MTIA internamente para atender às demandas das cargas de trabalho do DLRM e adaptar-se às tendências dos modelos ao longo do tempo. O MTIA é um chip de silício de 70 nanômetros desenvolvido em colaboração com a TSMC. Com seu design personalizado, o MTIA oferece 102 tops de computação de precisão de inteiro 8 ou 51,2 teraflops de computação de precisão de ponto flutuante 16, dentro de um orçamento de energia de 25 watts. O chip possui uma arquitetura organizada em uma grade 8x8 de elementos de processamento, conectados por uma rede de malha. Além disso, o MTIA possui recursos de memória tanto no chip quanto fora dele, proporcionando uma largura de banda de memória de até 800 gigabytes por segundo ou 176 gigabytes por segundo, respectivamente.
Arquitetura do Acelerador MTIA
A arquitetura do acelerador MTIA é dividida em várias unidades de processamento (PUs) que estão organizadas em uma grade 8x8. Cada PU possui dois núcleos de processador baseados na arquitetura de conjunto de instruções abertas RISC-V e unidades de função fixas especializadas em cálculos de matriz, funções não lineares e movimentos de dados. Além disso, cada PU possui memória on-chip de 128 kilobytes, que pode ser usada pelos núcleos de processador e unidades de função fixas. A execução dos modelos é controlada por um processador de comando central que distribui e orquestra a execução nas unidades de função fixas.
O Software Stack da MTIA
O software stack da MTIA foi projetado para fornecer eficiência no desenvolvimento e alto desempenho. Ele é totalmente integrado ao ecossistema do PyTorch, fornecendo uma experiência de desenvolvimento familiar para os desenvolvedores. O software stack inclui compiladores, um runtime PyTorch personalizado e um driver de dispositivo host para comunicação entre o host e os dispositivos MTIA. Os compiladores são responsáveis por converter modelos PyTorch em código MTIA eficientemente executável, enquanto o runtime PyTorch fornece abstrações, alocação de memória e APIs de streaming necessárias para a execução dos modelos. O driver de dispositivo host facilita a comunicação entre o host e os dispositivos MTIA.
Avaliação de Desempenho e Eficiência da MTIA
A MTIA foi avaliada em termos de desempenho e eficiência em uma série de modelos DLRM representativos dos nossos aplicativos em produção. Os resultados mostram que a MTIA alcança desempenho e eficiência Comparáveis aos GPUs, superando o desempenho por watt do NPI em todos os casos. Além disso, a MTIA alcança uma eficiência até três vezes maior do que os GPUs em camadas totalmente conectadas. No entanto, há oportunidades de melhoria considerando modelos de Alta complexidade.
Próximos Passos para o Desenvolvimento da MTIA
À medida que continuamos a desenvolver a MTIA, estamos focados em aprimorar a eficiência do desenvolvedor e a compatibilidade com as tecnologias emergentes do PyTorch 2.0, como Torch Dynamma e Torch Inductor. Além disso, estamos explorando a integração da MTIA com a linguagem de domínio específico Triton e aprimorando ainda mais o desempenho por watt para modelos de alta complexidade. Estamos ansiosos para aprimorar continuamente o projeto do MTIA em colaboração com nossos parceiros de software e fornecedores externos para criar a próxima geração de aceleradores de IA.
Conclusão
O MTIA representa um marco importante no caminho da Meadow em direção à criação de soluções de IA personalizadas para nossos aplicativos. Com o MTIA, temos o controle total desde o design do silício até o software, permitindo uma otimização precisa para as cargas de trabalho de IA dos nossos aplicativos. Esperamos fornecer melhor eficiência, desempenho aprimorado e uma excelente experiência do usuário por meio do MTIA. Nosso trabalho não para por aqui, pois continuamos a inovar e desenvolver as próximas gerações de aceleradores de IA para impulsionar ainda mais os limites da tecnologia.
🔗 Recursos adicionais:
No difficulty
WHY YOU SHOULD CHOOSE TOOLIFY
