Logfile-Auswertung und Metadatenanreicherung
Referent:
Daniel Riegel (IT Consultant, Thinking Objects GmbH)
Log Management ist das Data Warehouse der IT-Abteilung. Vorstellen wollen wir eine Log-Management-Architektur, basierend auf den Open-Source-Komponenten Linux, Logstash, Elasticsearch, Kibana und RabbitMQ. Neben einer Kurzvorstellung der Gesamtarchitektur und Dashboards zum Visualisieren der Logs wollen wir auf spezielle Problemfelder eingehen, besonders im Zusammenhang mit der Anreicherung von Metadaten und Log-Normalisierung in Echtzeit.
Schwerpunkte werden das Datenvolumen, reverse DNS Lookups, GeoIP und Dienstzuordnung (z.B. SSH, HTTPS) sein, weiterhin Einordnen der Logs zu Security-Zonen und das Erkennen von Log-Nachrichten gleichen Typs von unterschiedlichen Log-Quellen.
Webseite: https://www.elastic.co/downloads
Erwünschte Vorkenntnisse: Erfahrung mit Linux und Netzwerken
Weitere Informationen: Kurz-Paper