Os desafios do hardware de IA na borda

Os desafios do hardware de IA na borda

Tabela de conteúdos

1. O que é a borda?
   • Dispositivos de borda
   • Restrições dos dispositivos de borda
2. Trade-offs na execução de IA na borda
3. Cliente Magro vs. Processamento incorporado
   • Vantagens e desvantagens do cliente magro
   • Vantagens e desvantagens do processamento incorporado
4. Otimizações do modelo de rede neural
   • Treinamento de modelos compactos a partir do zero
   • Pós-processamento de modelos treinados
5. Opções de dispositivos para IA na borda
   • CPUs
   • GPUs
   • FPGAs
   • ASICs
6. Fornecedores de soluções de IA na borda
   • Intel's Movidius Myriad X VPU
   • Google's Edge TPU
   • Nvidia's Tegra
   • Outras empresas menores

Desafios e soluções para IA na borda

A IA está se tornando cada vez mais poderosa, com modelos de aprendizado profundo que alcançam resultados impressionantes. No entanto, surge a pergunta: de que adianta ter um ótimo modelo se não podemos usá-lo onde mais precisamos, como no campo com o cliente?

Neste vídeo, vamos analisar os desafios associados à execução de IA na borda e as soluções disponíveis para superar esses desafios.

O que é a borda?

Antes de mergulhar nos desafios da IA na borda, é importante entender o conceito da borda. Dispositivos de borda são dispositivos conectados à internet que estão mais próximos dos usuários finais do que os dispositivos de centro de dados. Essa é uma terminologia ampla que abrange uma variedade de dispositivos, desde robótica e satélites de sensoriamento Remoto até dispositivos domésticos inteligentes e dispositivos VESTíveis. No entanto, é importante notar que nem todos os dispositivos conectados à internet são considerados dispositivos de borda. Por exemplo, um smartphone pode ser considerado um dispositivo de borda, mas um laptop não.

Os dispositivos de borda possuem várias restrições relacionadas ao gerenciamento de energia, velocidade de processamento e Memória. Cada dispositivo enfrenta desafios específicos, dependendo de sua finalidade e exigências. Por exemplo, um chip de IA embarcado em um carro autônomo pode priorizar a latência, ou seja, a rapidez com que o modelo de IA pode chegar a um resultado. Por outro lado, um pequeno drone comercial tem uma janela de tempo limitada de voo e, portanto, só pode alocar uma pequena porcentagem de seu orçamento de energia para computação e processamento de dados.

Trade-offs na execução de IA na borda

Um dos principais desafios de executar IA na borda é o fato de que os modelos precisam ser adaptados às restrições dos dispositivos. Isso requer trade-offs e otimizações para equilibrar o desempenho do modelo com as restrições de tamanho, processamento e energia.

A maioria dos trabalhos realizados pelos dispositivos de IA na borda envolve processamento de visão computacional ou áudio. Esses modelos tiveram um aumento significativo em sua complexidade ao longo dos anos, com os modelos mais recentes tendo bilhões de pesos. O uso de redes neurais profundas consome mais energia do que outras alternativas de aprendizado de máquina não profundas. Além disso, há restrições de memória, pois os dispositivos precisam armazenar valores do modelo, entradas e outros dados na memória do dispositivo.

Para lidar com esses desafios, existem várias otimizações possíveis. Uma abordagem é treinar um modelo compacto do zero, substituindo estruturas tradicionais de redes neurais por novas que reduzem o número de pesos do modelo. Menos pesos significam menor tamanho geral do modelo e menor ocupação de memória.

Outra abordagem é o pós-processamento de um modelo treinado, onde é possível reduzir a complexidade do modelo por meio da quantização de peso. Isso envolve alterar a forma como os pesos do modelo são armazenados na memória, diminuindo a precisão de ponto flutuante de 32 bits para ponto fixo de 8 bits, por exemplo. Outra técnica é a podação, na qual pesos redundantes são removidos sem comprometer muito a precisão do modelo.

No entanto, é importante ressaltar que todas essas otimizações têm trade-offs entre precisão e uso de memória/energia. Por exemplo, a técnica de quantização de peso de 32 bits flutuantes para 8 bits fixos pode resultar em uma perda de precisão de mais de 12%.

Cliente Magro vs. Processamento incorporado

Na busca por soluções para IA na borda, surgiram dois modelos principais: cliente magro e processamento incorporado. Cada um tem suas vantagens e desvantagens, assim como suas próprias aplicações.

Um cliente magro é um modelo em que todas as operações de IA são executadas na nuvem, e o dispositivo na borda atua apenas como um intermediário entre o usuário e o servidor. Isso tem suas vantagens, como a facilidade de implementação e a capacidade de atualizar e melhorar o modelo sem alterar o hardware na borda. No entanto, também apresenta desafios, como a latência de transmissão de dados, a estabilidade da conexão e Questões de privacidade relacionadas ao envio de dados do usuário para a nuvem.

Por outro lado, o processamento incorporado envolve a execução de parte do processamento de IA diretamente no dispositivo na borda, dividindo a carga de trabalho com o servidor. Isso pode ser feito fazendo uma primeira passagem dos dados brutos no hardware de IA embutido e, em seguida, enviando os resultados para a nuvem para confirmação final. Essa abordagem também tem suas vantagens e desvantagens. Por exemplo, permite um melhor controle sobre a latência e a privacidade, mas também requer a manutenção de modelos em ambientes distintos, tanto no dispositivo quanto no servidor.

Opções de dispositivos para IA na borda

Ao escolher a solução de hardware adequada para a IA na borda, é necessário considerar as opções disponíveis. Existem quatro tipos principais de hardware amplamente utilizados para soluções de IA na borda: CPUs, GPUs, FPGAs e ASICs. Cada um possui suas próprias vantagens e desvantagens.

As CPUs, incluindo microcontroladores, são fáceis de programar, versáteis, de baixo consumo de energia e relativamente baratas. No entanto, elas geralmente não são tão paralelas, o que significa que não são tão eficientes para a execução de operações paralelas requeridas por modelos de IA modernos. No entanto, para modelos pequenos que cabem em sua memória limitada, até mesmo um MCU com poucos kilobytes de RAM pode ser suficiente.

As GPUs, originalmente projetadas para jogos, são altamente paralelas e facilmente programáveis, o que as torna ótimas para o treinamento de novos modelos de IA. No entanto, sua paralelismo também as torna muito exigentes em termos de consumo de energia, o que as torna menos adequadas para tarefas de inferência de IA na borda.

As FPGAs são circuitos integrados que consistem em blocos de lógica programáveis e interconexões de roteamento. Assim como as GPUs, elas são altamente paralelas e flexíveis. No entanto, elas têm menos memória disponível e exigem conhecimentos específicos de design para serem programadas.

As ASICs são processadores personalizados projetados para uma tarefa específica, como chips de IA. Embora sejam extremamente eficientes para a tarefa designada, elas têm um alto custo inicial de projeto e a capacidade de customização é limitada após a fabricação.

Existem vários fornecedores de soluções de IA na borda, desde gigantes da tecnologia como Intel e Google até empresas menores como Rockchip e Kneron. Cada um oferece diferentes produtos e recursos para atender às necessidades dos desenvolvedores que desejam implantar IA na borda.

Hardware Aware Model & Co-Design

Um dos desafios ao entregar soluções de IA na borda é equilibrar o hardware e o modelo. Ajustar um afeta o outro, o que pode levar a iterações lentas e progresso lento.

Uma abordagem recente e promissora é a Melhor-arquitetura de rede neural voltada para o hardware (Hardware-aware Neural Architecture Search). Nessa abordagem, certas variáveis de hardware são incluídas no modelo da rede neural para que ele possa ser otimizado para um hardware específico, como uma GPU ou FPGA. Essa abordagem tem potencial para ser aplicada aos ASICs também, permitindo o co-design simultâneo tanto do hardware quanto dos algoritmos.

Conclusão

A IA tem o potencial de trazer benefícios sem precedentes em várias indústrias e áreas comerciais. No entanto, para aproveitar totalmente esse potencial, os fabricantes de hardware de IA na borda precisam superar desafios econômicos e físicos para acomodar modelos cada vez maiores. O equilíbrio entre hardware e modelo é crucial para obter o melhor desempenho possível na borda, e técnicas como otimizações de modelos, uso de dispositivos adequados e co-design de hardware e algoritmos podem ajudar a enfrentar esses desafios e impulsionar a evolução da IA na borda.