IA para Detecção de Anomalias e Análise de Causa Raiz em Redes
Tabela de Conteúdos:
- 🏔️ Introdução
- 🌍 Oportunidades e desafios de se tornar uma empresa orientada por dados e IA
- 💡 Por que precisamos de democracia de dados
- 🔒 Pilares da democracia de dados
- 🏢 Arquitetura e ferramentas de dados
- 🎓 Treinamento e capacitação
- 🌟 Cultura e mudança organizacional
- 🔄 Manutenção preditiva de redes
- 💻 Detecção de anomalias em syslogs
- 📊 Desafios da análise de syslogs
- 🧩 Preparação de dados para detecção de anomalias
- 🧪 Modelos de detecção de anomalias
- 📈 Framework Log3C para detecção de anomalias
- 📉 Resultados e visualização dos resultados
- 🛠️ Outros casos de uso de manutenção preditiva de redes
- 🌐 Parceria com o Google e a nuvem
- 📅 Conclusão e próximos passos
🏔️ Introdução
Olá a todos! Meu nome é Majana Ubek e sou da Orange Innovation, localizada na Polônia. Hoje, quero falar com vocês sobre os dados e IA na Orange Innovation, com foco no programa de rede inteligente e manutenção preditiva de rede. Vamos discutir como detectar anomalias, analisar a causa raiz e a importância de se tornar uma empresa orientada por dados e IA. Também teremos Catherine Chavanner, chefe do departamento TMI na Orange Innovation, compartilhando sua perspectiva. Vamos começar!
🌍 Oportunidades e desafios de se tornar uma empresa orientada por dados e IA
Vivemos em um mundo em constante transformação, onde a IA está se tornando cada vez mais presente em diversas indústrias. A quantidade de dados produzidos está crescendo dia após dia, o que resulta em mudanças rápidas nos empregos e nas habilidades necessárias. É essencial que as empresas compreendam o valor da IA e se tornem orientadas por dados para tomarem decisões eficientes e alcançarem seus objetivos diários.
O objetivo da Orange Innovation é se tornar uma empresa orientada por dados e IA, permitindo que todos tenham acesso aos dados necessários para tomarem decisões e realizarem suas tarefas de forma eficiente. Isso inclui reduzir decisões baseadas em intuição e desenvolver uma consciência coletiva dos dados. No entanto, a transição para se tornar uma empresa orientada por dados representa desafios fundamentais, como a infraestrutura e as ferramentas necessárias, bem como a necessidade de desenvolver as habilidades e a cultura adequadas.
💡 Por que precisamos de democracia de dados
A observação atual na Orange Innovation é que a maioria dos dados está organizada em silos, refletindo a estrutura organizacional da empresa. Essa abordagem resulta em problemas de qualidade de dados e subutilização do seu potencial. Além disso, a regulamentação, como o GDPR, impõe desafios diários em termos de segurança, ética e privacidade dos dados.
A democracia de dados tem como objetivo derrubar esses silos dentro de cada país, preservando a proteção de dados, privacidade e ética. Devemos entender que os dados são um patrimônio comum e são essenciais para o crescimento futuro da empresa. Portanto, é necessário permitir que todos trabalhem juntos para facilitar o uso dos dados por todos os interessados potenciais na empresa. A democracia de dados não se trata apenas de controlar o acesso aos dados, mas também de garantir que todos tenham um entendimento comum do patrimônio comum de dados e sejam capazes de gerenciá-lo de forma operacional, seguindo as regras e obrigações estabelecidas.
🔒 Pilares da democracia de dados
Para alcançar a democracia de dados, é necessário construir uma base sólida nos seguintes pilares:
🏢 Arquitetura e ferramentas de dados
Um dos primeiros passos é migrar os data warehouses para a nuvem (GCP) e criar uma zona segura de dados alinhada com as restrições de proteção e segurança de dados. A arquitetura e as ferramentas adequadas são essenciais para facilitar a democratização dos dados, permitindo o acesso, o controle e a observabilidade dos dados em toda a organização.
🎓 Treinamento e capacitação
A mudança para uma empresa orientada por dados requer o treinamento e capacitação de todos os membros da equipe. É fundamental que todos compreendam como sua vida profissional se tornará mais fácil e valiosa ao compartilhar dados. O treinamento também ajuda a desenvolver as habilidades necessárias para entender as compensações e o trabalho diário relacionado aos dados.
🌟 Cultura e mudança organizacional
A mudança para uma cultura de colaboração é essencial para o sucesso da democracia de dados. É necessário abandonar a mentalidade de trabalhar em silos e adotar projetos orientados ao cliente, colaboração e aprendizado contínuo. Essa mudança cultural é um desafio fundamental, mas é crucial para desbloquear o valor dos dados e colocá-los no centro do modelo de inovação.
🔄 Manutenção preditiva de redes
A manutenção preditiva de redes é uma das áreas em que estamos focando para aproveitar o poder dos dados e da IA. É uma família de casos de uso que envolvem a detecção de anomalias e a análise da causa raiz na área de redes. Vamos aprofundar um dos principais casos de uso: a detecção de anomalias em syslogs.
💻 Detecção de anomalias em syslogs
A detecção de anomalias em syslogs envolve a análise de logs gerados pelos dispositivos de rede, como roteadores. Esse é o principal tipo de dado usado nesse caso de uso específico. No entanto, a análise de syslogs apresenta desafios, como a complexidade do comportamento dos dispositivos de rede e a grande quantidade de dados produzidos. Em apenas cinco minutos, por exemplo, 50 hosts na Polônia podem gerar 100.000 linhas de texto. Lidar com essa quantidade de dados manualmente é inviável.
A falta de dados rotulados também é um desafio para a detecção de anomalias em syslogs. Muitas vezes, não sabemos exatamente onde ocorreu a anomalia e não temos dados rotulados suficientes. Por esse motivo, modelos de aprendizado de máquina não supervisionados são preferidos nesse caso, mesmo quando temos dados parcialmente rotulados. Além disso, a detecção de anomalias não se limita apenas à identificação; também precisamos analisar a causa raiz para entender por que a anomalia ocorreu.
📊 Conclusão
Neste artigo, exploramos a importância de se tornar uma empresa orientada por dados e IA, discutindo as oportunidades e desafios envolvidos. Também abordamos o conceito de democracia de dados e seus pilares fundamentais: arquitetura e ferramentas de dados, treinamento e capacitação, e cultura e mudança organizacional. Em seguida, mergulhamos na manutenção preditiva de redes, com foco na detecção de anomalias em syslogs.
A detecção de anomalias em syslogs apresenta desafios significativos, mas pode ser abordada com técnicas de aprendizado de máquina, como o uso do framework Log3C. Também destacamos a importância da parceria com o Google e a nuvem, aproveitando as ferramentas e serviços oferecidos pela GCP, como o Vertex AI.
Ao adotar uma abordagem orientada por dados e IA, a Orange Innovation está desbravando o futuro e buscando maximizar o valor de seus dados para impulsionar a inovação e oferecer a melhor experiência para seus clientes.
🔮 Próximos Passos
À medida que avançamos em direção à concretização de nossos objetivos, continuaremos a explorar outras áreas de implementação e aprimorar nossos modelos de detecção de anomalias em syslogs. Além disso, buscaremos novas parcerias e colaborações para impulsionar nossa inovação e garantir que possamos aproveitar ao máximo as oportunidades oferecidas pela democratização de dados.
Fique atento para futuras atualizações e progressos neste emocionante caminho em direção a uma empresa verdadeiramente orientada por dados e IA.
FAQ
Q: Como a democracia de dados beneficia a Orange Innovation?
A: A democracia de dados permite que todos na empresa tenham acesso aos dados necessários para tomarem decisões mais informadas e eficientes. Isso reduz a dependência de decisões baseadas em intuição, aumenta a eficiência operacional e impulsiona a inovação dentro da empresa.
Q: Quais são os principais desafios enfrentados na detecção de anomalias em syslogs?
A: Dois dos principais desafios na detecção de anomalias em syslogs são a complexidade do comportamento dos dispositivos de rede e a falta de dados rotulados. Compreender o comportamento dos dispositivos de rede e identificar sinais de anomalias em meio a uma grande quantidade de dados pode ser difícil. Além disso, a falta de dados rotulados dificulta a criação de modelos supervisionados para a detecção de anomalias.
Q: Como a parceria com o Google e a nuvem contribui para os objetivos da Orange Innovation?
A: A parceria com o Google e a nuvem permite que a Orange Innovation aproveite as ferramentas e serviços avançados oferecidos pela GCP para impulsionar sua transformação digital. Isso inclui migração de data warehouses, utilização de ferramentas de aprendizado de máquina como o Vertex AI e visualização de resultados em plataformas como o Grafana.
Q: Quais são os próximos passos da Orange Innovation?
A: A Orange Innovation continuará a explorar novas áreas de implementação da democratização de dados e a aprimorar seus modelos de detecção de anomalias em syslogs. Além disso, buscará novas parcerias e colaborações para impulsionar a inovação e garantir que possa oferecer aos clientes a melhor experiência possível.