O que são Redes Neurais Transformers?

Sumário

1. Introdução aos Transformers
2. Arquitetura do Transformer
3. Motivação para o Desenvolvimento do Transformer
4. Atenção Multihead
5. Codificações Posicionais
6. Encoder do Transformer
7. Decoder do Transformer
8. Treinamento do Modelo Transformer
9. Comparação entre Self-Attention e RNN
10. Transformers como Redes Neurais de Passagem de Mensagens
11. Trabalhos e Aplicações Interessantes em Transformers
12. Conclusão

Introdução aos Transformers

Os transformers são um tipo de modelo de aprendizado de máquina projetado para processar sequências. Eles foram introduzidos no artigo "Attention is All You Need" em 2017 e desde então têm sido amplamente utilizados. Embora tenham sido inicialmente aplicados em tarefas de linguagem natural, como o processamento de texto, os transformers também podem ser aplicados a outros tipos de dados, como imagens. Um exemplo proeminente disso é o DALL·E, um modelo baseado em transformers desenvolvido recentemente pela OpenAI, capaz de sintetizar imagens com base em descrições textuais.

Arquitetura do Transformer

A arquitetura do transformer pode parecer um pouco intimidante à primeira vista, mas muitos dos blocos presentes nela são familiares, como redes feed forward. Os componentes-chave que tornam os transformers únicos são as camadas de codificação posicional e atenção multihead, que serão exploradas em breve.

Antes de mergulharmos na arquitetura, vamos entender por que os autores desenvolveram o transformer. Uma das motivações é limitar o comprimento dos caminhos que os sinais devem percorrer ao aprender dependências de longo alcance. Em um modelo recorrente clássico, como uma RNN padrão, que processa palavras sequencialmente, os comprimentos dos caminhos crescem linearmente com a distância entre duas posições de interesse. Em contraste, com os transformers, o comprimento dos caminhos é sempre constante, independentemente da distância. Outra motivação é a paralelização ideal do cálculo dentro de exemplos de treinamento. Embora o treinamento em lote já seja paralelizado entre exemplos, limitações de Memória tornam a paralelização dentro dos exemplos desejável para um aumento extra de velocidade. Modelos sequenciais convolucionais podem aliviar esse problema, mas ainda enfrentam o desafio dos comprimentos de caminho dependentes da distância. Portanto, os transformers permitem uma maior paralelização do que os modelos atuais, manejando simultaneamente dependências de longo alcance. Eles aproveitam o que é chamado de autoatenção para calcular atualizações nas representações de cada elemento da sequência em paralelo. O mecanismo de atenção permite que cada representação considere diferencialmente as representações de todas as outras posições, e os caminhos de comunicação terão o mesmo comprimento para todos os pares de elementos.

Motivação para o Desenvolvimento do Transformer

Os transformers foram desenvolvidos para superar limitações presentes em modelos de aprendizado de máquina tradicionais, como as redes recorrentes. A motivação para o desenvolvimento dos transformers é melhorar o processamento de sequências de dados, permitindo paralelização eficiente, lidando com dependências de longo alcance e superando limitações relacionadas à distância entre posições.

Existem duas motivações principais para o desenvolvimento dos transformers. A primeira é controlar a propagação de sinais em dependências de longo alcance. Em modelos recorrentes, como as redes neurais convencionais, o comprimento dos caminhos de propagação cresce linearmente com a distância entre pontos da sequência. No entanto, com os transformers, os comprimentos dos caminhos são sempre constantes, independentemente da distância. Isso é particularmente útil para tarefas que envolvem o processamento de documentos longos, onde a palavra em uma posição pode depender de outras palavras encontradas várias sentenças antes.

A segunda motivação é a paralelização eficiente no treinamento de modelos de sequência. Embora o treinamento em lote já permita a paralelização entre exemplos, há restrições devido a limitações de memória. Paralelizar o cálculo dentro de exemplos pode trazer ganhos adicionais de velocidade. Os modelos de sequência convolucionais foram uma tentativa de resolver esse problema, mas ainda enfrentam dificuldades devido aos comprimentos de caminho dependentes da distância. Os transformers oferecem maior paralelização em relação aos modelos atuais, permitindo simultaneamente dependências de longo alcance. Isso é possível através do mecanismo de autoatenção, onde cada elemento da sequência pode considerar as representações de todos os outros elementos de forma diferenciada, e os caminhos de comunicação têm o mesmo comprimento para todos os pares de elementos.

Atenção Multihead

A atenção multihead é uma das principais inovações presentes nos transformers. Ela permite que diferentes representações sejam consideradas simultaneamente em diferentes partes da sequência, fornecendo uma estratégia eficiente para modelar dependências e relações complexas.

O mecanismo de atenção consiste em três componentes principais: consultas (queries), chaves (keys) e valores (values). A ideia básica é que cada consulta seja comparada com um conjunto de chaves para determinar a compatibilidade entre eles. Cada chave é acompanhada por um valor, e a maior compatibilidade entre uma consulta e uma chave indica maior influência do valor correspondente na saída da atenção.

Os três componentes - consultas, chaves e valores - são aprendidos durante o treinamento do modelo. O processo de atenção ocorre em diferentes etapas. Primeiro, as consultas e chaves são multiplicadas em um produto escalar, o que determina a compatibilidade entre elas. Em seguida, uma função de softmax é aplicada aos produtos escalares para normalizar os pesos e torná-los não negativos. Por fim, os valores são multiplicados pelos pesos normalizados e agregados em um vetor de saída, que representa a nova representação para cada elemento da sequência.

Uma das vantagens da atenção multihead é que ela permite que os transformers aprendam representações diferentes simultaneamente. Isso é especialmente útil para tarefas que requerem modelagem de diferentes tipos de relacionamentos. Por exemplo, em um problema de tradução, uma cabeça de atenção pode se concentrar em aspectos sintáticos, enquanto outra pode se concentrar em aspectos semânticos. Ao utilizar várias cabeças de atenção, os transformers podem aprender representações mais ricas e capturar melhor as nuances presentes nos dados.

Além disso, a atenção é um mecanismo bastante interpretável. Os pesos resultantes da atenção podem fornecer insights sobre a estrutura sintática ou semântica de uma sentença. Essa interpretabilidade pode ser útil em tarefas onde é importante entender o motivo pelo qual o modelo tomou determinadas decisões.

Codificações Posicionais

Uma das características únicas dos transformers é a utilização de codificações posicionais para fornecer informações sobre a ordem dos elementos em uma sequência. Enquanto os embeddings fornecem representações distribuídas para cada token, as codificações posicionais são responsáveis por adicionar informações sobre a posição relativa dos tokens dentro da sequência.

Existem duas abordagens principais para a codificação posicional. A abordagem aprendida envolve a associação de um vetor de posição exclusivo a cada token. Isso é feito por meio de uma camada de Lookup aprendida durante o treinamento do modelo. Cada vetor de posição é ajustado para representar uma posição específica no contexto da sequência.

A outra abordagem proposta pelos autores é chamada de codificação posicional fixa. Essa abordagem envolve o uso de curvas senoidais para codificar a posição de cada elemento. As codificações posicionais fixas são calculadas em relação à posição e dimensão de cada elemento. A ideia é que essas curvas senoidais codifiquem informações sobre a ordem relativa dos elementos.

Ambas as abordagens têm suas vantagens e desvantagens. A abordagem aprendida fornece flexibilidade e permite que o modelo aprenda representações mais complexas para a ordem dos elementos. Por outro lado, a codificação posicional fixa possui uma estrutura mais simples e pode ser mais adequada para dados com estrutura fixa, como sequências regulares ou padrões.

Encoder do Transformer

O encoder do transformer é responsável por transformar as representações de entrada em representações intermediárias, fornecendo uma codificação mais rica e contextualizada para a sequência de entrada. Ele consiste em várias camadas de codificação, cada uma contendo duas subcamadas principais: atenção multihead e feedforward.

A atenção multihead é usada para capturar dependências de curto e longo alcance entre os elementos da sequência. Cada elemento é transformado em consultas, chaves e valores, e a atenção é computada entre todos os elementos. Dessa forma, cada elemento pode "atentar" para as representações de todos os outros elementos, permitindo que informações relevantes e contextuais sejam consideradas.

A camada feedforward é responsável por agregar informações contextuais aos elementos individuais da sequência, realizando uma transformação não linear dessas informações. Isso ajuda a capturar relações mais complexas e aprendidas entre os elementos.

Ambas as subcamadas são seguidas por uma conexão residual e normalização de camada, que ajudam a estabilizar o treinamento do modelo e garantir que as informações sejam preservadas à medida que passam pelo encoder. A conexão residual adiciona as representações de entrada às representações intermediárias antes de passar pela normalização de camada.

O processo de codificação é repetido várias vezes, permitindo que a informação seja gradualmente refinada e contextualizada. Isso resulta em representações cada vez mais ricas e expressivas para cada elemento da sequência.

Decoder do Transformer

O decoder do transformer é responsável por gerar uma sequência de saída com base nas representações intermediárias produzidas pelo encoder. Assim como o encoder, ele contém várias camadas de codificação, cada uma delas com duas subcamadas principais: atenção multihead mascarada e atenção de decoder-encoder.

A atenção multihead mascarada é utilizada para levar em consideração apenas as etapas prévias na geração do próximo token da sequência. Durante o treinamento, é importante garantir que a saída seja autoregressiva, ou seja, dependa apenas dos tokens gerados anteriormente e não do token atual. Isso é alcançado através do uso de uma máscara que restringe a atenção a considerar apenas os tokens gerados anteriormente, excluindo os tokens futuros.

A atenção de decoder-encoder permite que o decoder considere informações do encoder na geração da sequência de saída. Isso é importante para que a saída seja condicionada à entrada, o que significa que a sequência de saída em francês, por exemplo, deve corresponder à sequência de entrada em inglês. A atenção de decoder-encoder permite que o decoder "atente" não apenas para os tokens gerados até o momento, mas também para a sequência de entrada.

Assim como o encoder, o decoder também possui camadas de feedforward, conexões residuais e normalização de camada, permitindo que as informações sejam transformadas e refinadas gradualmente. O processo de codificação é repetido várias vezes, refinando as representações intermediárias e gerando a sequência de saída.

Treinamento do Modelo Transformer

O treinamento de um modelo transformer envolve o ajuste dos parâmetros do modelo para maximizar a probabilidade de predizer o próximo token durante o treinamento. O objetivo é maximizar a verossimilhança das sequências geradas. Para fazer isso, é usado um atributo chamado máscara de atenção, que restringe as dependências futuras e garante que a predição de cada token dependa apenas dos tokens gerados anteriormente.

No final do modelo decoder, uma camada linear é aplicada a cada posição, mapeando as representações intermediárias nos logits (probabilidades brutas) nonormais dos tokens de saída. Em seguida, uma função softmax é aplicada aos logits para calcular as probabilidades normalizadas. Durante o treinamento, é usado um critério de máxima verossimilhança para ajustar os pesos do modelo de forma a maximizar a probabilidade de predição correta.

É importante mencionar que a arquitetura do transformer pode ser adaptada de acordo com a tarefa específica. Dependendo da aplicação, é possível variar os componentes do modelo, utilizando apenas o encoder ou apenas o decoder, dependendo da tarefa em Questão.

Comparação entre Self-Attention e RNN

Uma comparação importante a ser feita é entre a atenção e os modelos recorrentes, como as redes neurais recorrentes (RNNs). Ambos os modelos têm a capacidade de capturar dependências de longo alcance, mas apresentam diferenças em relação ao tempo de treinamento e complexidade.

A atenção em um transformer permite a aprendizagem paralela, resultando em um tempo de treinamento eficiente. Isso ocorre porque a atenção pode ser calculada independentemente para cada elemento em paralelo, o que não é possível em um modelo recorrente.

Em contrapartida, os modelos recorrentes, como as RNNs, processam a entrada sequencialmente, o que envolve um tempo linear para processar sequências longas. Isso faz com que o treinamento seja mais lento do que o dos transformers, especialmente quando lidando com sequências longas.

Além disso, as RNNs lidam menos eficientemente com dependências de longo alcance em sequências. Enquanto o comprimento dos caminhos de propagação cresce linearmente em relação à distância entre duas posições em um modelo recorrente, os transformers têm caminhos de propagação de comprimento constante, independentemente da distância. Essa é uma das razões pelas quais os transformers superam as RNNs em tarefas que requerem modelagem de dependências de longo alcance.

No entanto, vale ressaltar que a escolha entre um modelo de atenção e um modelo recorrente depende da tarefa em questão e de outras considerações específicas do contexto.

Transformers como Redes Neurais de Passagem de Mensagens

Uma interessante conexão entre os transformers e as redes neurais de passagem de mensagens (GNNs) pode ser observada. Os transformers podem ser vistos como uma forma de GNN que trata sequências como grafos totalmente conectados.

Os transformers permitem que todos os nós comuniquem preferencialmente durante a passagem de mensagens, de acordo com os pesos de atenção. Um elemento em uma sequência pode "atentar" diferencialmente para as representações de todos os outros elementos, permitindo a consideração de informações relevantes.

Essa conexão com as GNNs sugere várias possibilidades interessantes para aplicar os transformers em diferentes domínios. As GNNs têm sido amplamente utilizadas em tarefas de aprendizado de máquina aplicadas a dados de grafos, e os transformers podem oferecer uma alternativa poderosa para essas tarefas.

Embora essa conexão entre transformers e GNNs seja interessante, é importante lembrar que os transformers não são exclusivos dos dados de sequência. Eles podem ser aplicados a diferentes tipos de dados, como imagens e áudio, desde que esses dados possam ser representados como sequências.

Trabalhos e Aplicações Interessantes em Transformers

Desde a introdução dos transformers, uma série de trabalhos interessantes e aplicações inovadoras surgiram. Algumas áreas de pesquisa e aplicações notáveis incluem:

• Efficient Transformers: Pesquisas têm sido realizadas para tornar os transformers mais eficientes, buscando melhorar o desempenho em tarefas com restrições de tempo e recursos computacionais. Isso inclui o desenvolvimento de variantes mais leves dos transformers e técnicas de compactação de modelos.

• Explicabilidade nos Transformers: Dado que os transformers permitem interpretar os pesos de atenção, pesquisadores estão explorando maneiras de tornar os modelos mais interpretáveis. Isso envolve o desenvolvimento de métodos para visualizar e entender os padrões de atenção aprendidos pelos transformers.

• Aplicações do Transformer em diferentes domínios: Os transformers têm sido aplicados em uma ampla gama de domínios e tarefas, como processamento de linguagem natural (NLP), visão computacional, geração de código, entre outros. Desenvolvimentos recentes incluem modelos de tradução de texto em tempo real, sistemas de diálogo conversacional e modelos de geração de texto criativo.

• Teoria dos Transformers: Outra linha de pesquisa importante foca em desenvolver uma teoria sólida para entender por que os transformers funcionam tão bem. Isso inclui investigações sobre propriedades matemáticas do modelo, como expressividade, capacidade de aproximação de funções e limites teóricos.

• Combinação de Transformers com outras abordagens: Os transformers também têm sido combinados com outras técnicas de aprendizado de máquina, como redes generativas adversariais (GANs) e modelos de linguagem autoregressivos. Essas combinações têm levado a avanços significativos em várias tarefas, como tradução de imagens para texto e síntese de fala.

Essas são apenas algumas das linhas de pesquisa e aplicações que têm surgido na área de transformers. A velocidade e amplitude com que os transformers estão evoluindo tornam esse campo extremamente empolgante e promissor.

Conclusão

Os transformers representam um avanço significativo no campo do aprendizado de máquina, especialmente quando se trata de processamento de sequências e modelagem de dependências de longo alcance. Sua capacidade de paralelização, juntamente com o uso de atenção multihead e codificações posicionais, permite que eles aprendam representações ricas e contextuais para qualquer tipo de sequência.

Embora os transformers tenham sido inicialmente aplicados a tarefas de linguagem natural, sua aplicabilidade se estende a vários outros domínios. Eles têm sido usados com sucesso em visão computacional, geração de texto e até mesmo síntese de imagens.

A pesquisa em transformers está avançando rapidamente, e novas inovações e descobertas são relatadas regularmente. Com uma ampla gama de aplicações em diferentes domínios e uma rica teoria subjacente, os transformers prometem ter um impacto significativo no campo do aprendizado de máquina nos próximos anos.