Dzień z życia Streaming Engineera - wywiad

Dzień z życia Streaming Engineera - wywiad z Damianem Dziedzicem.

Jak wygląda twój typowy dzień pracy?

Mam zdrową rutynę. Zaczynam dzień bez stresu, logując się po przygotowaniu sobie kawy. Sprawdzam maile i odpowiadam, jeśli ktoś potrzebuje mojej pomocy. Kolejny etap to weryfikacja tego, co zrobiłem dnia poprzedniego. Czasem wdrożę poprawkę, która przyszła mi do głowy. Później mam ‘daily’ z zespołem, a następnie koncentruję się na implementacji moich zadań. By zmienić fokus, idę po pracy na siłownię.

 

Czy masz czas na rozwój nowych umiejętności w pracy?

Zdecydowanie tak. W pracy kieruję się zasadą, że do każdego zadania szukam odpowiedniego narzędzia. Zamiast wymyślać koło na nowo, wolę zacząć od rozeznania się w dostępnych technologiach, bibliotekach i narzędziach i wybrać najbardziej pasujące rozwiązania do zadanego problemu.

Jakie są główne wyzwania w roli Streaming Engineer?

Zrozumienie danych, które spływają do systemu: jaka jest ich natura, jak długo będą one potrzebne, jakie błędy mogą w nich występować itp. Implementacja transformacji potoków zwykle wygląda podobnie. Niemniej jednak architektura rozwiązania wynika z danych wejściowych. Dlatego tylko doskonale napisany kod, w dobrze zaplanowanym systemie, pozwoli szybko i poprawnie przetwarzać duże ilości danych.

Jakie umiejętności trzeba mieć i jakie technologie warto znać pracując jako programista aplikacji przetwarzających petabajty danych?

Trzeba rozumieć ideę programowania funkcyjnego i mieć umiejętności tworzenia architektury systemów. Co do technologii, najpopularniejsze narzędzia do procesowania wedle mojej wiedzy to: Apache Flink i Apache Spark. Do przesyłania danych - Kafka. Dla zapisywania wyników: Hadoop czy bazy danych. Monitorowanie to ELK stack. Design - w oparciu o Event Sourcing. Trzeba mieć szeroką wiedzę o dostępnych narzędziach na rynku i szczegółową na temat przetwarzanych danych, by móc wybrać najlepsze.

Co lubisz w swojej pracy?

Spokój. Nie chodzi tutaj o powtarzalność i monotonię. Jest to brak zbędnego pośpiechu. Gdy czegoś nie jestem pewien, poświęcam czas na naukę. Szybkość działania zależy od zrozumienia problemu, użytych narzędzi i algorytmu bardziej niż wielkości zasobów przypisanych do klastra. Nie oznacza to, że proces tworzenia rozwiązań streamujących jest długi, wręcz przeciwnie. Wyżej wymienione narzędzia pozwalają w naprawdę szybki i prosty sposób przetestować, co działa, a co nie.

W jaką stronę można się rozwinąć pracując w takiej roli?

Jest to droga dla generalistów, różnego rodzaju architektów systemów IT czy leaderów zespołów. Alternatywnie, można pozostać specjalistą w danej domenie, by tworzyć rozwiązania prawdziwie skalowalne.

Gdybyś właśnie rozpoczynał karierę w tej roli, jaką najważniejszą radę dałbyś sobie?

By na każdym etapie rozwiązywania problemu, starać się zrozumieć, jak dane są przetwarzane przez narzędzia i dlaczego. Na podstawie tak zebranego doświadczenia, możemy ulepszyć implementację i zyskać bezcenną praktyczną wiedzę.

Photo: shutterstock