Logstash

Dzisiaj przyjrzymy się narzędziu „Logstash”, które jest drugą częścią pakietu ELK stack. Jeżeli pominąłeś pierwszy artykuł o pakiecie ELK, a dokładniej o Elasticsearchu, zapraszam tutaj.

Logstash bardzo często nazywany jest „rurą do przesyłu danych” i nie jest to przypadkowe, bowiem wszystko co pokazuje Kibana, wcześniej trafia do Elastic’a, ale zanim tam trafi modyfikowane jest przez Logstash’a. Narzędzie to tworzy możliwość do usprawnienia przepływu pracy, poprzez wcześniej zdefiniowaną transformacje i przetworzenie logów, które trafiają do niego z różnych źródeł. Logstash na podstawie funkcji i instrukcji warunkowych potrafi rozpoznać wzorce o które nam chodzi a następnie je zedytować. Wzorce możemy wzbogacać, usuwać nieodpowiednie dla nas pola czy też parsować.

 
Działanie logstasha
 

Logstash ma w swoim pliku konfiguracyjnym trzy podstawowe sekcje, które uzupełniamy według naszych potrzeb, są to:

 
Input {}
Filter {}
Output {}
 

Input – definiuje źródła – skąd brać co i jak, udostępnia kilka wtyczek które pomagają w integracji źródła danych, oto kilka z nich:

·         Kafka – Czyta zdarzenia z określonego tematu brokera

·         Log4j – Czyta dane bezpośrednio z aplikacji w której jest gniazdo TCP

·         File – Służy do przesyłania danych z pliku

Filter – Filtruje informację i dostosowuje je według naszych zaleceń. Podstawowymi pluginami są:

·         Grok – Służy głównie do parsowania logów i umieszczania ich w odpowiednie pola.

·         Date – Służy do parsowania dat i umieszczania ich w wybrane przez nas pola

·         Mutate – Służy do edytowania danych, usuwa wybrane przez nas pola

Output – definiuje gdzie przefiltrowane informacje mają trafić

Jeżeli uzupełnimy poprawnie całą naszą konfigurację, ostatnią rzeczą jest uruchomienie Kibany i stworzenie „Index patternu”. W wyborze powinien pojawić się interesujący nas index.

W tym momencie przechodzimy na korzystanie z wizualizatora danych jakim jest Kibana o której będziemy mówić w następnych artykułach.

Podsumowując

Logstash jest głównym „pipeline’em” przez którego przechodzą wszystkie dane zanim wpadną do reszty pakietu ELK stack czyli Kibany i Elasticsearcha. Jest on niezwykle ważny ze względu na możliwości co do edycji danych które potem ułatwiają dalszą analizę.