Cribl Stream 3.3 und Cribl Edge

 

Cribl hat im Februar eine neue Version seiner Observability Pipeline Lösung Cribl Stream released. Die neue Version 3.3 liefert einige interessante Neuerungen, welche wir Ihnen gerne kurz vorstellen möchten:

Splunk Search
Cribl Stream unterstützt mit der neuen Quelle “Splunk Search” erstmals die aktive Integration bereits in Splunk indizierter Daten. Sie können zeitgesteuert das Ergebnis einer Splunk Suche direkt in Cribl Stream Stream einlesen und die Ergebnisse durch Cribl Stream transformieren, anreichern, verschlüsseln oder anonymisieren und an beliebige Ziele weiterleiten.

Exec
Die Exec Quelle ermöglicht es Ihnen Kommandozeilen Aufrufe regelmässig auszuführen und deren Standard Output einzulesen. Hiermit können vor allem Daten gesammelt werden, welche aktuell nicht mit den bereits bestehenden Kollektoren gesammelt werden können. Dabei handelt es sich beispielsweise um:

  • Datenbankabfragen
  • Selbstgeschriebene Abfragen für Datenbanken und Applikationen
  • ping zur Latenzüberprüfung
  • ps -ax um eine List der laufenden Prozesse zu bekommen
  • SNMP GET Abfragen um einen SNMP Agenten abzufragen
  • netstat -natp um eine Liste an Sockets und TCP Ports zu bekommen
  • mtr -c 1 –report –json 8.8.8.8 um einen Traceroute zu einem Ziel zu bekommen (im Beispiel 8.8.8.8)
 
Cribl Stream als Ziel

Ein neues Ziel “Stream” ermöglicht es Ihnen Daten an andere Cribl Stream Instanzen und/oder Edge zu schicken. Somit können kaskadierende Cribl Stream Umgebungen aufgebaut werden.

 

Cribl Edge

Cribl Edge hilft Ihnen dabei Observability Daten – Logs, Metriken, Applikationsdaten etc. – von Linux Umgebungen, Apps und Microservices einzusammeln und in Echtzeit zu verarbeiten. Die gesammelten Daten können an Cribl Stream oder andere unterstützte Ziele weitergeleitet werden.

  • Automatische Erkennungen des Hosts, Containers und der Applikations Metriken, Logs, etc. auf dem Endpoint
  • Grossartige User Experience im Bereich Daten Onboarding: Explore, Preview, Build Configs etc.
  • Sammeln, Verarbeiten und Weiterleiten
    – Sammeln von Logs, Metriken (Host, Prozesse, Container), Traces (erscheint bald), benutzerspezifische Kommandos etc.
    – Die gesamte Palette an Funktionen und Pipelines steht Ihnen zur Verfügung
    – Weiterleiten von Daten an jedes unterstützte Ziel
  • Zentrale Konfiguration und Verwaltung
    – Visuelle Bearbeitung der Konfiguration inklusive Versionskontrolle
    – Teleportation-to-the-edge zur lokalen Vorschau und Überprüfung der Konfiguration

Auf jedem der Edge Nodes aus dem obigen Diagramm finden sie den von Cribl Stream gewohnten Aufbau von Quellen, Routen, Pipelines und Ziele wieder. Es stehen weiterhin Pre-Processing und Post-Processing Pipelines zur Vor- und Nachbereitung der Events zur Verfügung.

System Anforderungen

Minimum: Edge Nodes
OS: Linux: RedHat, CentOS, Ubuntu, AWS Linux, Suse (64bit)
System
~1Ghz Prozessor, 512MB RAM, 5GB freier Plattenplatz (mehr beim Einsatz von Persistent Queuing)

Empfehlung: Leader Node
OS: Linux: RedHat, CentOS, Ubuntu, AWS Linux, Suse (64bit)
System: +4 physical cores, +8GB RAM, 5GB
freier Plattenplatz


Edge Nodes werden auf einen einzelnen Prozess limitiert und verbrauchen somit im schlimmsten Fall 1 CPU auf dem System. Wie bei den meisten Applikationen die Daten sammeln und verarbeiten, können Sie bei Cribl Edge von einem proportionalen Wachstum des Ressourcenverbrauchs ausgehen in Abhängigkeit zum verarbeiten Datenvolumen und der Komplexität der Verarbeitung.

  • Die Verarbeitungsgeschwindigkeit ist direkt proportional zur Geschwindigkeit der CPU
  • Die Verarbeitung erfolgt in-memory
  • Somit wird kein signifikanter Plattenplatz für die Verarbeitung benötigt

 

 

Sollten Sie Interesse an den Neuerungen haben und weitere Details wünschen, so zögern Sie nicht und sprechen Sie uns gerne darauf an!

Sie haben Fragen?

Kontaktieren Sie uns!