Senior Data Engineer (k/m)
Summary
Senior data engineer embedded in a banking client's team that feeds its data warehouse, Big Data environment, Google Cloud platform, and campaign systems. Day-to-day: build batch and streaming ETL/ELT pipelines into BigQuery using Python/Rust, SQL, and Kafka/Pub/Sub. Hybrid — 1-2 days per week from the Warsaw office.
Dla naszego Klienta z branży bankowej poszukujemy Starszego Inżyniera Danych / Starszej Inżynierki Danych do zespołu odpowiedzialnego za zasilanie hurtowni danych, środowiska Big Data, platformy Google Cloud oraz systemów kampanijnych. Zespół buduje rozwiązania, które przetwarzają duże wolumeny danych zarówno wsadowo, jak i niemal w czasie rzeczywistym.
To rola dla osoby z solidnymi podstawami inżynierii danych, która ceni niezawodne rozwiązania i chce rozwijać się w obszarze chmury, streamingu i platform marketingowych.
Współpraca odbywa się w trybie hybrydowym - 1-2 dni w tygodniu z biura w Warszawie (siedziba klienta)
Zatrudnienie ramach grupy kapitałowej – przez spółkę Exorigo-Upos
Zakres obowiązków:
-
projektowanie, budowa i rozwijanie pipeline’ów ETL/ELT działających w trybie batch oraz streaming, w szczególności na potrzeby systemów kampanijnych
-
tworzenie procesów ładujących dane do BigQuery, hurtowni danych, Data Lake i platformy kampanijnej
-
integrowanie danych z wielu źródeł: systemów on-premise, GCP, baz danych, plików, API oraz systemów zdarzeniowych
-
budowa przepływów opartych na zdarzeniach z użyciem m.in. Kafki lub Pub/Sub
-
projektowanie modeli danych na poziomie logicznym i fizycznym oraz przygotowywanie warstw danych, datamartów tematycznych i zbiorów dla procesów analitycznych i kampanijnych
-
pisanie i optymalizacja zapytań SQL w bazach relacyjnych i kolumnowych
-
implementacja procesów przetwarzania i ładowania danych w Pythonie i/lub Ruście
-
dbanie o jakość, kompletność, spójność i terminowe dostarczanie danych
-
optymalizacja wydajności oraz kosztów przetwarzania w GCP
-
wdrażanie monitoringu, logowania, obsługi błędów i mechanizmów ponownego przetwarzania
-
przekładanie potrzeb biznesu na koncepcje techniczne, modele danych i działające rozwiązania
-
przygotowywanie testów, wsparcie wdrożeń, analiza incydentów i utrzymanie rozwiązań
-
tworzenie i aktualizacja dokumentacji technicznej oraz praca zgodnie z podejściem DevSecOps
Wymagania:
-
minimum 5-letnie doświadczenie komercyjne w inżynierii danych, w tym w projektowaniu i budowie procesów ETL/ELT oraz pipeline’ów danych
-
bardzo dobra znajomość SQL, włącznie z optymalizacją zapytań i pracą na dużych wolumenach danych
-
praktyczna praca z BigQuery: projektowanie struktur, partycjonowanie, klastrowanie oraz optymalizacja wydajności i kosztów
-
doświadczenie programistyczne w Pythonie i/lub Ruście
-
znajomość przetwarzania danych w trybie batch i streaming
-
znajomość architektury event-driven oraz technologii takich jak Kafka lub Pub/Sub
-
doświadczenie w projektowaniu logicznych i fizycznych modeli danych
-
znajomość relacyjnych baz danych, np. Oracle lub PostgreSQL
-
swobodna praca w systemie Linux, w tym samodzielne diagnozowanie problemów
-
umiejętność analizy wymagań biznesowych i przekładania ich na rozwiązania techniczne
-
nacisk na jakość, niezawodność i łatwość utrzymania tworzonych rozwiązań
-
Znajomość języka polskiego na poziomie C1
Mile widziane:
-
doświadczenie z usługami Google Cloud: BigQuery, Pub/Sub, Dataflow, Dataproc, Cloud Storage
-
znajomość Apache Spark (szczególnie na Dataproc) oraz Apache Beam / Dataflow
-
praca z Kubernetes, Dockerem i procesami CI/CD
-
znajomość Informatica PowerCenter lub innych narzędzi ETL
-
udział w budowie Data Lake, hurtowni danych lub platform danych w środowisku hybrydowym
-
znajomość systemów kampanijnych, segmentacji klientów lub przygotowania danych dla marketing automation
-
doświadczenie w testach jakości danych, monitoringu pipeline’ów i data observability
-
wiedza z zakresu bezpieczeństwa danych, kontroli dostępu, anonimizacji i przetwarzania danych wrażliwych
-
znajomość AutomateNOW
Oferujemy:
- Współpracę z renomowaną organizacją (ITwiz BEST100), działającą w oparciu o międzynarodowe standardy jakości i bezpieczeństwa (ISO 9001, ISO 27001)
- Niekorporacyjną atmosferę i płaską strukturę organizacyjną
- Możliwość ciągłego rozwoju poprzez:
- wykorzystywanie różnorodnych technologii w projektach dla renomowanych klientów
- współpracę z doświadczonym zespołem ekspertów, którzy chętnie dzielą się wiedzą
- dofinansowanie do szkoleń i certyfikatów
- Program Poleceń
- Kulturę organizacyjną opartą na wartościach:
- działamy z dobrą intencją
- dzielimy się wiedzą
- bierzemy odpowiedzialność
- stale się doskonalimy
- ludzie są dla nas najważniejsi
- działamy, znając cel i sens naszej pracy
- komunikujemy się szczerze i profesjonalnie
- Udział w inicjatywach dobroczynnych, w tym współpracę z Fundacja im. Joanny Radziwiłł "Opiekuńcze Skrzydła" oraz udział w świątecznej akcji „Gwiazdorzymy”
- Różnorodne i inkluzywne środowisko – w naszej firmie współpracują przedstawiciele czterech pokoleń
- Równe szanse rozwoju – 50% stanowisk menedżerskich i liderskich zajmują kobiety
- Dofinansowanie zajęć
sportowych - Prywatna opieka
medyczna - Dofinansowanie nauki
języków - Dofinansowanie
szkoleń i kursów - Ubezpieczenie
na życie - Spotkania
integracyjne - Paczki świąteczne
- Program
rekomendacji
pracowników - Inicjatywy
dobroczynne - Pikniki rodzinne
- Benefit
okolicznościowy - Platforma
wellbeingowa