Das nenne ich mal ein Clickbait par excellence…
Kommt man relativ frisch zum Thema „Logging“ und „Log-Analyse“ oder auch zu „Log-Sammlern“ wie Splunk oder einem ELK-Stack, hat man vielleicht nicht genug eigene Maschinendaten mit denen man arbeiten, lernen und experimentieren kann, oder darf.
Um Anfängern beim Einstieg in Splunk zu helfen, stellt die Splunk Inc., neben einem kostenlosen Buch, wie die Such-sprache zu verwenden ist, auch Tutorialdaten, die einmal täglich für die letzten 7 Tage generiert werden, zum Download zur Verfügung.
In der gezipten Datei tutorialdata.zip befinden sich mehrere Ordner die Log-dateien beinhalten. Entpackt sieht die Struktur in etwa so aus:
Archive: tutorialdata.zip creating: www1/ inflating: www1/secure.log inflating: www1/access.log creating: www3/ inflating: www3/secure.log inflating: www3/access.log creating: vendor_sales/ inflating: vendor_sales/vendor_sales.log creating: www2/ inflating: www2/secure.log inflating: www2/access.log creating: mailsv/ inflating: mailsv/secure.log
Ich hab da mal ein kleines bash script geschrieben, um die Datei automatisiert herunter zu laden, und in einem Ordner meiner Wahl zu ent-packen.
#!/bin/bash
DEST="Sampledata"
FILEPATH="http://docs.splunk.com/images/Tutorial/tutorialdata.zip"
cd ~
if [ -e ${FILEPATH//*\/} ]
then
rm -f ${FILEPATH//*\/}
fi
/bin/wget ${FILEPATH}
if [ -e ${DEST} ]
then
/bin/rm -rf ${DEST}
fi
/bin/mkdir ${DEST}
/bin/unzip ${FILEPATH//*\/} -d ${DEST}
Das Script ist einfach nur schnell runter getippt worden, ist also weder sonderlich schön noch bulletproof. Aber es erfüllt den Zweck.
Die Datei erscheint um etwa 09:15 UTC. Wenn man also einmal pro Wochen, um doppelte Events zu vermeiden, um 12 Uhr CET/CEST oder so das Script durch cron laufen lässt, sollte man sich einen guten Übungsdaten-Bestand aufbauen können.
Die Log-dateien vom 12.-19. Februar 2017 waren zusammengerechnet, etwa 19MB gross. Das sollte also nicht einmal die freie 500MB Splunk-Lizenz all zu stark belasten.