Existem algumas métricas realmente cruciais que são valiosas em termos das idéias que elas oferecem. Essas métricas incluem logins de usuários, taxa de transferência de aplicativos, uso de rede e muito mais. Ironicamente, no entanto, algumas dessas métricas também são as mais variáveis, com vales e picos definidos, dependendo de períodos específicos de uma semana e, por causa disso, torna-se invariavelmente difícil estabelecer limites para análise e investigação.

Por isso, para adicionar mais sentido e definir contextos para diferentes métricas como essas, adicionamos a detecção de anomalias.

Para a maioria de nós, esse é um termo relativamente novo e, por isso, decidimos dividi-lo em linguagem simples para ajudá-lo a entender o que é e como incorporá-lo ao seu sistema.

Então, para entender melhor as coisas, vamos começar com o básico.

O que é uma anomalia e sua detecção?

Anomalia é qualquer coisa que não é regular - algo que se destaca ou não pertence a um cluster. Graças à implementação de tecnologias como ciência de dados, aprendizado de máquina e muito mais, agora podemos medir cada aspecto de nossa atividade comercial. Do desempenho operacional, dos componentes de infraestrutura aos KPIs (Indicadores Chave de Desempenho), poderíamos usar qualquer parâmetro para avaliar o status de nossos negócios

Ao processar esses conjuntos de dados, você é exposto a duas consequências:

  1. Você encontra padrões de dados que não transmitem nada de extraordinário
  2. Você encontra padrões de dados não convencionais, que não estão em conformidade com outros padrões ou se desviam dos padrões regulares que você conhece até agora

Esse desvio é chamado de anomalia. Por exemplo, considere um site de streaming de vídeo. Ao processar os conjuntos de dados gerados de segunda a sexta-feira, você vê padrões de dados regulares. Significado, tráfego regular e observação de tendências. Porém, quando você processa os dados gerados nos finais de semana, percebe um aumento no tráfego e na observação de tendências. Você percebe que mais pessoas estão transmitindo filmes de volta para trás ou estão assistindo seus programas preferidos.

A anomalia aqui é o desvio dos padrões de dados que você observa durante os dias da semana.

As anomalias podem variar de um negócio para outro, de um nicho para outro, de um setor para outro e muito mais.

Detecção de anomalias e monitoramento de rede

A qualquer momento, uma rede gera grandes quantidades de dados. Esses clusters de dados podem ser insights sobre atividades do usuário, uso de recursos, pacotes, aspectos de segurança e muito mais. O monitoramento e análise da rede fornecem informações abrangentes sobre o comportamento da rede, quaisquer ameaças prováveis ​​e sua experiência geral na rede.

Ao processar e analisar esses blocos, você pode descobrir informações subjacentes que podem ser usadas para otimizar o desempenho da rede, reforçar aspectos de segurança e muito mais. A implementação da detecção de anomalias no monitoramento da rede envolve o rastreamento e a supervisão consistentes da sua rede para detectar ameaças suspeitas.

Em vez de apenas olhar nos pontos de extremidade, perímetros e firewalls em busca de ameaças, a detecção de anomalias varre toda a rede em busca de possíveis ameaças. Ao varrer, o mecanismo detecta automaticamente algo fora do comum para investigação imediata. Isso pode ser um aumento repentino no tráfego superior ao normal ou qualquer desvio dos intervalos ideais com base em dados passados.

Tipos de detecção de anomalias

Uma das principais razões para a geração e análise de dados é capacitar você com informações para que você possa tomar decisões informadas. Sem esse poder, você poderia tomar decisões irrelevantes ou desnecessárias que ainda seriam orientadas por dados, mas inferidas incorretamente.

É por isso que é importante entender os três tipos de anomalias para que você possa entender a origem dessas anomalias e tomar as medidas correspondentes.

Outliers globais

Os outliers globais também são chamados de anomalias pontuais. Eles são chamados assim porque essas anomalias estão muito além da totalidade do seu conjunto de dados.

Outliers Contextuais

Anomalias que se desviam de outros pontos de dados prevalecentes no mesmo contexto são chamadas de outliers contextuais. Também chamados de outliers condicionais, essas são anomalias apenas quando você olha para um conjunto de dados contextualmente.

Outliers coletivos

Considere um conjunto de dados. Quando você os analisa e descobre que um subconjunto de seu conjunto de dados é completamente diferente de todo o conjunto de dados, a anomalia é chamada de outlier coletivo.

Preocupações que você pode corrigir com a detecção de anomalias

A detecção de anomalias pode descobrir verdades ocultas sobre seus negócios e sua rede que você teria ignorado. Algumas das preocupações cruciais que você pode resolver com a detecção de anomalias são discutidas abaixo.

Otimizando o desempenho do aplicativo

Seu aplicativo é a ponte que conecta sua ideia intangível que reside em sua mente a um produto tangível que seus clientes poderiam usar. Um aplicativo com desempenho insatisfatório ou que não realiza nada é letal para seus negócios e seus objetivos.

Além das perdas monetárias, um aplicativo com mau funcionamento pode lhe trazer uma reputação negativa no mercado. No entanto, com um monitoramento consistente e a implantação da detecção de anomalias, você pode descobrir brechas nas funcionalidades e nos aspectos de segurança do aplicativo e corrigi-los antes mesmo de serem apontados.

Caso de uso prático

O Waze é um aplicativo de GPS que possui mais de 100 milhões de usuários ativos todos os meses. Para manter as conseqüências decorrentes do desempenho do aplicativo, o Waze precisava garantir que ele detectasse preocupações antes que elas pudessem afetar seus usuários. Ele decidiu consertar isso implementando algoritmos de aprendizado de máquina para correlacionar dados e o desempenho do aplicativo para compartilhar incidentes em que os membros da equipe de TI poderiam trabalhar e corrigir.

Otimize a qualidade do produto

Um produto está em constante evolução. Desde a fase de concepção até o lançamento no mercado, um produto está evoluindo em termos de funcionalidades, aspectos de segurança, estética e muito mais. No que diz respeito aos gerentes de produto, torna-se tedioso para eles acompanhar as mudanças que acompanham todos os estágios da evolução do produto. Confiar puramente (adicionado) em outros departamentos para seus alertas e notificações não é confiável e não é uma boa prática

É aí que a detecção de anomalias pode ter um papel importante, apontando defeitos e preocupações nos produtos a qualquer momento. Ao definir claramente as metas para cada estágio do ciclo de desenvolvimento do produto, é possível garantir o mais alto nível de qualidade.

Principais benefícios da detecção de anomalias

Além de ajudá-lo a resolver as preocupações que discutimos, a detecção de anomalias oferece as seguintes vantagens quando implementada.

  • Monitore e rastreie todas as fontes de dados, como dispositivos, servidores, logs e redes
  • Antecipe e identifique ameaças e ataques de dia zero
  • Acompanhe e relate qualquer comportamento incomum entre fontes que não estão sob o radar
  • Descubra usuários desonestos
  • Analise informações de hosts, agentes, usuários e muito mais

Resumindo

Portanto, essa foi a detecção de anomalias e uma visão abrangente das mudanças que sua implementação poderia trazer para seus negócios e rede. Até agora, acreditamos que você tem uma melhor compreensão do assunto e entendeu sua importância.

É altamente recomendável que você implante o monitoramento de rede e a detecção de anomalias em sua organização. Se você não tiver certeza de como fazer isso, entrar em contato com a gente.