Zurück

Professioneller End-to-End Splunk Betrieb vom Dateneingang bis Datenausgang – von On Prem, über Hybrid bis zur Cloud

22. März 2021
Professioneller End-to-End Splunk Betrieb vom Dateneingang bis Datenausgang – von On Prem, über Hybrid bis zur Cloud

Der Betrieb einer Data Analytics Plattform bedeutet weitaus mehr als nur die Stabilität sicherzustellen. Vielmehr muss eine solche Plattform innovativ weiterentwickelt werden, um dem hohen Grad an sich kontinuierlich ändernden Business Anforderungen gerecht zu werden. LC Systems ist ein erfahrener und zertifizierter Splunk Partner mit grossem und langjährigem Managed Service Erfahrungsschatz. Die Kernaspekte unseres Managed Services setzen sich hauptsächlich aus folgenden 5 Bereichen zusammen:

 

1.       Data Input Operation

Die Data Input Operation stellt sicher, dass der Datenpnut zu jeder Zeit die wichtigen und benötigten Daten in einer definierten Menge und in der richtigen Qualität (z.B. Zeit Format, Zeilenumbrüche, etc.) zur Verfügung hat, um diese danach korrekt für die Weiterverarbeitung verwenden zu können.

Mögliche Datenquellen sind unter anderem Logdaten aus Betriebssystem- oder Applikationslogs via API Schnittstellen, Syslog Daten, verschiedene Datenbankentypen und Logdaten aus den diversen Cloud Umgebungen. Daten Onboardings können mit den unterschiedlichsten Logformaten erfolgen, wie zum Beispiel Splunk CIM Standard, Customized Log Formate oder auch spezielle Logformate Ihrer Applikationen.

Die Data Input Operations wird in die Kunden-Workflows integriert.

Wichtige Datenquellen werden im Anschluss in ein Datasource Monitioring Framework eingebettet, welches mit Prozessen unterlegt, den Datenquellen Verantwortlichen informiert, sollten innerhalb seiner Datenquellen Abweichungen zur erwarteten Datenqualität wie „Linebreaking“, „Timestamp Parsing“, „Aggregation“ oder generelle Probleme der Datenverfügbarkeiten auftreten.

 

2.       Data Plattform Operation

Die Data Plattform Operation stellt sicher, dass mit der eingesetzten Plattform, zu jeder Zeit die grösstmögliche Wertschöpfung erreicht werden kann. Dabei steht der stabile Betrieb auf aktuellen Versionen und die kontinuierliche und zukunftsgerichtete Weiterentwicklung Ihrer eingesetzten Plattform im Mittelpunkt.

Unser standardisiertes Vorgehen ermöglicht uns, jegliche Art von Splunk Plattformen zu betreiben. Sei dies der vollumfängliche Betrieb Ihrer Splunk Umgebung in Ihrem Datacenter oder in der AWS-, Azure- oder Google Cloud, oder sei dies der vollumfängliche Betrieb in einer hybriden oder auch Multi Cloud Umgebung.

Unser Managed Service Angebot fügt sich ebenso in den Betrieb innerhalb der Splunk Cloud ein, bei welcher wir die angrenzenden Schnittstellen und benötigten Prozesse der Data Input- sowie Data Output Operations bedienen.

Um die Qualität und Stabilität Ihrer Splunk Umgebung hochzuhalten, werden Anpassungen zuerst von Entwicklungsumgebungen in die Testumgebung transferiert, dort auf Richtigkeit und Plausibilität geprüft und operativ getestet. Nach entsprechender Abnahme werden Änderungen in die Produktionsumgebung verteilt. Deployments werden innerhalb einer Versionsverwaltung (z.B. GIT) dokumentiert und in Kombination mit Automatisierungs-Werkzeugen (z.B. Ansible, GitLab, Jenkins) voll automatisiert in die produktive Umgebung durchgeführt.

 

3.       Data Output Operation

Die Data Output Operation stellt sicher, dass wichtige Outputs (Dashboards, DBs, Reportings etc.) zeitgerecht und in gewünschter Qualität zur Verfügung stehen.

Augenmerk wird einerseits auf das Funktionieren von Dashboards und Reportings, andererseits aber auch auf Schnittstellen zu weiterführenden Systemen gerichtet.

 

4.       Überwachung und Alarmierung

Zur vollumfänglichen Überwachung der gesamten Datenkette dient das eigens dafür entwickelte LC Systems Monitoring Framework „SMF“. Über 50 KPIs überwachen kontinuierlich verschiedenste Parameter der Verfügbarkeit, Auslastung oder sonstige Anomalien wie zum Beispiel: CPU/Memory/Disk, Index Volume Auslastung, blockierte Queues der Indexer, Fehlkonfigurationen, etc.

Standardisierte Schnittstellen ermöglichen eine zentrale Überwachung inklusive Alarmierung verschiedenster Überwachungssysteme. Das Framework ist in Splunk Processing Language (SPL) geschrieben und baut auf einem Eventpool auf.

Dieser Eventpool kann jegliche Arten von Events aus verschiedensten Überwachungsquellen aufnehmen. Diese Events werden schlussendlich zu Episoden korreliert, für welche zum einen entsprechende Playbooks zur Lösungsfindung zur Verfügung stehen und zum andern welche für Reporting Zwecke verwendet werden. Episoden, welche entsprechend klassifiziert sind, öffnen direkt und automatisch ein Ticket im Ticketing Tool des Kunden, was wiederum das Incident Management startet.

 

5.       Service Management

Der gesamtheitliche Managed Splunk Service wird mittels einem umfassenden Service Management begleitet, welcher sicherstellt, dass fachliche sowie die Service Level relevante Themen innerhalb regelmässiger Service Meetings diskutiert und dokumentiert werden. Managementgerechte Reportings über die verschiedenen Bereiche des Managed Splunk Services sowie weiterführende fachliche Unterstützung im Zusammenhang mit dem Splunk Service aber auch darüber hinaus ermöglichen einen hohen Wissensstand seitens LC Systems und seitens des Kunden.