Otimização e escalabilidade de trabalho de ML na AWS

Otimização e escalabilidade de trabalho de ML na AWS

Tabela de Conteúdos

• Introdução
• A pilha de ML da AWS
• Treinamento e inferência
• Mundo HPC e ML
• A necessidade de otimização de software
• Desenvolvendo arquiteturas escaláveis de ML
• Estratégias-chave
• A importância da inferência de ML
• A junção de HPC e ML
• Conclusão

Introdução

Bom dia a todos! Eu sou Sundar I'll, líder da equipe de Frameworks de ML da AWS, e estou muito feliz em estar aqui. Nessa apresentação, vou abordar uma série de tópicos relacionados a modelos de ML em infraestrutura AWS. Temos muito para cobrir, então vamos começar.

A Pilha de ML da AWS

A primeira coisa que vamos discutir é a pilha de ML da AWS. Essa pilha foi criada para representar três classes de clientes que atendemos. A camada superior, AI Services, é perfeita para clientes que desejam incorporar capacidades de IA sem precisar treinar modelos diretamente usando APIs. A camada intermediária, SageMaker, é ideal para clientes que desejam uma oferta gerenciada completa, abrangendo desde a preparação de dados até o deployment de modelos. Já a camada inferior é a camada de Frameworks e infraestrutura, onde as coisas se tornam realmente interessantes e complexas.

Treinamento e Inferência

Ao analisar nossas interações com os clientes, percebemos uma confluência entre o mundo HPC e ML, pois estamos lidando com grandes clusters. Essa tendência nos levou a focar em quatro áreas principais de desenvolvimento de arquiteturas escaláveis de ML. Primeiro, desenvolvemos arquiteturas que utilizam serviços core do EC2 e ferramentas open-source para dimensionar as cargas de trabalho de ML. Os clientes realmente apreciam essa ajuda, pois sempre estão em busca de orientações sobre qual instância usar para cada carga de trabalho. Em segundo lugar, a parceria com a Intel nos permite tirar proveito das otimizações de software para CPUs, Algo extremamente relevante no contexto da inferência de ML.

Mundo HPC e ML

Nos últimos anos, observamos um aumento no tamanho e na complexidade dos modelos de DL. Isso nos leva a explorar novas formas de treinar e implantar esses modelos de maneira eficiente. A necessidade de treinamento distribuído é fundamental para garantir eficiência e escalabilidade. Além disso, gerenciar custos e flutuações de capacidade é essencial. Temos visto o surgimento de novas bibliotecas e aplicações de software, como DeepSpeed e OneAPI, que oferecem simplicidade e poder para realizar grandes avanços na área de ML.

A necessidade de otimização de software

Dentro desse contexto, é fundamental aplicar estratégias de otimização de software para garantir um treinamento mais eficiente. O uso do paralelismo adequado, a escalabilidade linear e a experimentação com vários aceleradores são algumas das estratégias que utilizamos. Em nossa equipe, trabalhamos em estreita colaboração com parceiros como a Intel para oferecer soluções prescritivas e garantir que nossos clientes estejam satisfeitos.

Desenvolvendo arquiteturas escaláveis de ML

Ao desenvolver arquiteturas escaláveis de ML, é essencial considerar a escolha certa do paralelismo e explorar a diversidade de aceleradores disponíveis. Além disso, o perfilamento dos recursos de computação é fundamental para identificar nós com problemas e substituí-los. Nossas pesquisas mostram que o uso da instância dl1 é uma ótima opção, proporcionando uma melhoria de desempenho em relação a outras instâncias.

Estratégias-chave

Para lidar com os desafios do treinamento de modelos de ML maiores, recomendamos algumas estratégias chave. Primeiro, é importante ter um paralelismo adequado para lidar com modelos grandes. Além disso, a escalabilidade linear é fundamental para alcançar Alta eficiência de treinamento. A experimentação com múltiplos aceleradores também pode ser uma boa opção para obter o desempenho desejado. Por fim, o perfilamento de recursos é uma prática importante para identificar e substituir nós defeituosos.

A importância da inferência de ML

A inferência de ML é uma área que precisa de bastante atenção. A maioria das inferências é feita em instâncias baseadas em CPU, o que gera um aumento significativo no volume de inferências, tanto em termos de gastos quanto de volume de operações. Portanto, é essencial ter uma visão clara do desempenho e custo para corresponder aos requisitos de inferência.

A junção de HPC e ML

HPC e ML são áreas que estão cada vez mais interligadas, especialmente quando se trata de aceleração de inferência. Estamos colaborando de perto com a equipe de HPC da Intel para resolver problemas complexos e entregar soluções eficientes para nossos clientes. Vou compartilhar um exemplo de POC que desenvolvemos para a Formula One, onde utilizamos ML para otimizar a geometria dos carros e melhorar seu desempenho.

Conclusão

Em resumo, HPC e ML são áreas que estão se cruzando cada vez mais. O software otimizado é essencial para garantir treinamento e inferência eficientes. Ao desenvolver arquiteturas escaláveis de ML e aplicar estratégias-chave, podemos obter resultados significativos. A inferência de ML é um aspecto crucial e requer uma abordagem estratégica para reduzir custos e gerenciar melhor os recursos. A colaboração entre HPC e ML está se tornando cada vez mais relevante, e estamos comprometidos em trabalhar em conjunto com a Intel para oferecer soluções inovadoras para nossos clientes.

Destaques

• HPC e ML estão se tornando cada vez mais interligados, com um aumento na complexidade dos modelos de DL.
• A otimização de software é essencial para garantir eficiência e escalabilidade no treinamento de modelos de ML.
• A escolha adequada do paralelismo e a diversificação de aceleradores são estratégias importantes para obter melhores resultados.
• A inferência de ML está cada vez mais presente e requer uma análise minuciosa dos requisitos de desempenho e custo.
• A colaboração entre as áreas de HPC e ML está se revelando crucial para resolver problemas complexos e fornecer soluções eficientes.

Perguntas Frequentes

P: Quais são as principais áreas em que a colaboração entre a AWS e a Intel é fundamental?

R: A colaboração entre a AWS e a Intel é fundamental em várias áreas. No treinamento de modelos de ML, a otimização de software para CPUs é essencial para obter melhor desempenho. Na inferência de ML, a combinação de instâncias baseadas em CPU e aceleradores como o Intel Habana Gaudi pode oferecer baixa latência e alto throughput.

P: Como a arquitetura de bin packing ajuda a reduzir custos na inferência de ML?

R: A arquitetura de bin packing é uma técnica que permite otimizar o uso de recursos ao agrupar modelos de ML em instâncias de maneira eficiente. Isso ajuda a reduzir o custo total, já que você pode aproveitar ao máximo cada instância, evitando desperdício de recursos.

P: Quais são as vantagens da colaboração entre as áreas de HPC e ML?

R: A colaboração entre as áreas de HPC e ML permite aproveitar o poder dos CPUs e aceleradores para resolver problemas complexos. Além disso, essa colaboração possibilita a otimização de software e o desenvolvimento de soluções inovadoras, acelerando o progresso e oferecendo resultados de alto desempenho.