Zentrales Logging

[sl1zer]

Hi, und zwar:

Ich habe einfach mal dieses Unterforum genommen, weil es dem ganzen vermutlich am nächsten kommt.

Ich habe nun die Aufgabe ein zentrales Logging in meinem Unternehmen zu realisieren und habe mich damit erst kurz beschäftigt.
Wir haben ca. 80 VMs am laufen sowie einige andere Rechner plus natürlich die Rechner der Mitarbeiter.

Ich will nun erstmal ins Blaue fragen ob hier jemand zentrales Logging in der Firma verwendet und welche Kombination aus Produkten dort verwendet werden.

Plan ist es alle Logs auf einer Linux-VM mit angeschlossener Datenbank zu aggregieren.

Im ersten Moment wirkt das alles relativ undurchsichtig für mich mit all den Lösungen, die angeboten werden, Vor- und Nachteile lassen sich mMn nur schwer ausklabustern.


Für generelle Tipps bin ich erzlichst dankbar.


Mit viel Liebe

[fame]

Erinner mich heute Abend noch einmal hier im Thread. Arbeite set 3 Jahren im Bereich Log Management/SIEM.

Muss es eine umsonst Lösung sein oder darf es auch was kosten?

[sl1zer]

Prinzipiell kann es auch eine kostenpflichtige Lösung sein, da mein Unternehmen aber nicht sonderlich groß ist (wie gesagt, es laufen ca. 80 VMs + andere Server) denke ich, dass das auch mit Open Source zu lösen sein sollte.

Nach erstem Einlesen erscheint mir die Kombination "ElasticSearch / Logstash / Kibana" als solide Lösung.

[fame]

Naja Open Source zahlst du halt mit deiner eigenen Arbeit. Ich kenne eure Ressourcen nicht. (wenn den Rest mein Chef liest bin ich tot ) Bei einer kommerziellen Lösung hast du halt den großen Vorteil dass es a) mehr out of the box kann, b) du einen richtigen Support hast und c) es i. d. R. eine deutlich bessere Dokumentation usw. gibt.

Ich nehme mal an der Fokus ist aktuell ganz klar auf den Bereich "Operation" und nicht "Security", korrekt? Hast du schon einmal Splunk ausprobiert? Ist für den Einsatzzweck nicht verkehrt und im Bereich Log Management aktuell schon ne Bank. Gibt ne Free Trial mit 500mb / Tag an Logvolumen. Nach 60 Tagen werden dann die Funktionen beschnitten. Die bieten seit kurzem auch eine "Splunk Light" an, was für euch vermutlich erst einmal reichen würde und billiger ist als die Enterprise Variante. Dann würdest du auch sehen was ihr in etwa für ein Logvolumen habt. Alternativ kann ich dir dein Logvolumen abschätzen, dafür bräuchte ich aber mehr Infos als "80 VMs". Müsste dann wissen was für OS es sind, was die Einsatzzwecke (DC, Fileserver, Workstation, Server, usw.) sind und wie viele Nutzer die Umgebung hat.

Wenn es wirklich Open Source sein soll ohne Capex dann ist aktuell ElasticSearch / Logstash / Kibana vermutlich die beste Wahl.

[sl1zer]

Ich muss das nochmal mit meinem Chef bereden, aber eigentlich habe ich da freie Wahl, wenn ich sage, dass kostenpflichtige Lösungen besser sind, dann würden wir das vermutlich auch realisieren.

Splunk hatte ich auch schonmal gesehen, das Problem ist, dass ich das jetzt im Rahmen meiner Projektarbeit realisieren muss und mich deswegen leider erstmal festlegen muss und keine Monate zum durchtesten von zB Splunk habe.

Ich denke ich werde bezüglich des Projektes erstmal bei Logstash etc bleiben und zu einem späteren Zeitpunkt nochmal Splunk durchtesten.


Danke dir jedenfalls schonmal für das Feedback!

[fame]

Naja, Splunk ist in 5 Minuten installiert. Daten reinladen ist auch relativ trivial. In einem Tag hast du schon einmal einen guten Überblick wie Splunk grob funktioniert und was es kann.

Aber letztlich natürlich deine Entscheidung. Ein kurzer Schwenk aus meiner Erfahrung: Wir (arbeite btw. nicht für Splunk ) lösen immer öfters LogStash / Elastic Search bei Kunden ab weil der Wartungsaufwand doch recht groß ist. Nur mal als kleines Beispiel: Alleine für das Parsing und die Klassifizierung von Windows Event Logs gibt es bei uns über 5.000 Regeln, Linux Host Syslog 4000+ Regeln, usw. (Splunk hat hier deutlich weniger was das anbelangt, aber zumindest etwas ist vorhanden) Bei uns siehst du direkt was sich hinter einer Meldung verbirgt ohne alle Windos Event IDs auswendig zu kennen. Wenn du das für LogStash nachbauen willst viel Spaß Dazu kommen dann Themen wie die Echtzeitanalyse der Daten, uvm.