Graylog: É uma Plataforma para Gerenciamento de Log

Graylog é uma plataforma de gerenciamento de log para coleta, indexação e análise de dados estruturados e não estruturados de praticamente qualquer fonte.

Mais importante do que a coleta de dados é como esses dados são organizados para facilitar a análise. O Graylog extrai dados de mensagens brutas e os enriquece para uso posterior.

Os logs de TI continuam a crescer em tamanho e volume e, como resultado, tornou-se mais difícil para os administradores de TI pesquisar rapidamente e extrair significado dos dados de log. Aqui entra o Graylog. Ele é uma plataforma centralizada de gerenciamento de logs que visa resolver esse desafio. O Graylog pode ingerir muitos terabytes de logs todos os dias, e sua interface da Web permite que os administradores de TI classifiquem e pesquisem com eficiência todos esses dados.

O Graylog pode ser instalado de várias maneiras diferentes, permitindo que você escolha o que for melhor para você.

Grandes volumes de dados podem ser difíceis de explorar e analisar. Com o fluxo de trabalho de pesquisa do Graylog, os administradores podem criar pesquisas complexas e combiná-las em um painel para entender melhor consultas e conjuntos de dados grandes.

Um objetivo principal da análise de log de TI é descobrir anomalias ou situações que requerem mais atenção. Com o Graylog, os administradores de TI podem criar relatórios programados regularmente e usar seu mecanismo de correlação para criar alertas complexos com base em relacionamentos de eventos.

Precedemos este tutorial do Graylog com um mergulho nos principais componentes da plataforma e, em seguida, percorremos as etapas técnicas para configurar e usar a ferramenta para gerenciamento de log de TI.

Coleta e organização de dados

Graylog é construído em ElasticSearch para armazenamento e recuperação de log, MongoDB para metadados e um nó Graylog para ingestão e análise de dados.

O Graylog pode ingerir diferentes tipos de dados estruturados(por exemplo: mensagens de log e tráfego de rede) de fontes e formatos, incluindo:

• Syslog
• Graylog Extended Log Format (GELF)
• AWS CloudWatch Logs and CloudTrail
• Beats/Logstash
• Common Event Format (CEF)
• JSONPath from HTTP API
• NetFlow
• Plain/raw text

Negritei Syslog acima pois é ele que iremos usar bastante para envio de seus logs para o Graylog. Todo usuário de Linux sabe que Syslog é popular em sistemas do tipo Unix, incluindo servidores, equipamentos de rede e dispositivos IoT. Syslog é um protocolo padrão IETF RFC 5424

Para dados que não seguem os padrões Syslog, os usuários podem criar o que o Graylog chama de extratores(extractors) usando expressões regulares, padrões Grok ou substrings. Também é possível dividir uma mensagem em tokens usando caracteres separadores.

Um recurso Graylog chamado streams direciona as mensagens para várias categorias em tempo real. Isso permite a segregação de dados e o controle de acesso. Outro recurso, chamado pipelines, aplica regras para limpar ainda mais as mensagens de log conforme elas fluem pelo Graylog. Os pipelines, por exemplo, podem descartar mensagens indesejadas, combinar ou anexar campos ou remover e renomear campos.

Graylog é Gratuito ou Pago?

Graylog tem várias versões e opções de preços:

• Open source: Dê dois pulos e um Glória à Deus! 🙂 Essa versão gratuita inclui a maioria dos recursos disponíveis nas versões Enterprise e Free Enterprise, exceto o Mecanismo de Correlação, Fluxo de Trabalho de Pesquisa, relatórios programados, arquivamento de log off-line e logs de auditoria do usuário.
• Free Enterprise: Esta versão gratuita inclui todos os recursos da versão Enterprise, mas permite apenas até 5 GB de ingestão de log por dia. O suporte técnico está disponível como um complemento adquirido.
• Enterprise: Esta versão inclui todos os recursos e suporte técnico ilimitado. Ele foi projetado para organizações que precisam de mais de 5 GB de ingestão de log por dia. O preço é determinado com base na quantidade de dados enviados ao Graylog.

Fonte: baseado em graylog.org, techtarget,