Zurück

Cribl 2.4 – neu mit XML Log Parser für effiziente Transformation

27. Januar 2021
Cribl 2.4 – neu mit XML Log Parser für effiziente Transformation

Mit Cribl LogStream steht eine universelle Lösung zur Verarbeitung von Logs bereit, mit der voller Zugriff auf Daten während ihres Transfers in Echtzeit gegeben ist. So sind Sie in der Lage, enorme Mengen unstrukturierter und unbereinigter Daten zu verarbeiten, anzureichern und dem Zielsystem ihrer Wahl zuzuführen. Weitere Information zu Cribl finden Sie hier.

 

Mit der neuen Cribl Version 2.4 (Release 12.01.2021) wurden zwei neue Funktionen eingeführt:

  • –  C.Text.parseWinEvent
  • –  C.Text.parseXml

Diese beiden Funktionen ermöglichen es, Windows Eventlogs im XML Format und XML Logs zu parsen. XML wird besonders gerne als Format für Schnittstellen verwendet (z.B. XML SOAP), ist jedoch im Kontext von Log Monitoring nicht von Vorteil. Durch den öffnenden und schliessenden Tag in XML wird ein enormer Overhead erzeugt, was wiederum einen negativen Einfluss auf die Grösse des zu verarbeiten Logs als auch auf den benötigten Speicherbedarf und damit einhergehende Kosten hat. Durch eine Transformation XML basierter Logs in effizientere Formate, wie z.B. JSON, können diese Nachteile wie das nachfolgende Beispiel demonstriert, mittels Cribl adressiert werden.

Das folgende Windows Eventlog entspricht im Rohformat 1.36KB:

 

Durch eine einfache Cribl Pipeline welche die Funktion C.Text.parseWinEvent verwendet, kann das Event in JSON konvertiert werden:

 

Diese Transformation hat eine Reduktion des Events um 34,07% zur Folge, wodurch das Event nur noch 921 Byte gross ist.

 

 

In Umgebungen mit mehreren Gigabyte bis Terrabyte an Windows Event Logs im XML Format stellt diese Reduktion bereits ein signifikantes Volumen dar. Neben des eingangs beschriebenen positiven Einflusses auf den Speicherbedarf profitieren meist auch die Endanwender davon, da ein kleineres Event meist effizienter und somit schneller durchsucht werden kann.

Neben der reinen Transformation in ein anderes Format können natürlich die bekannten Cribl Funktionen für eine weitere Reduktion des Logs verwendet werden. So lassen sich sehr einfach Null Values aus dem Event filtern. Im Falle des Windows Event Logs handelt es sich hierbei um die Werte ‘0’,’0x0′ und ‘-‘.

 

Durch Entfernen dieser Felder wird das Event um insgesamt 51.47% auf 678 Bytes reduziert!

 

Starten Sie noch heute mit Cribl und Reduzieren Sie die Grösse Ihrer Windows Eventlogs. Testen Sie Cribl kostenlos bis 5TB/Day. Sprechen Sie mit uns!