Senior Data Engineer
Summary
Senior Data Engineer building and maintaining a global Azure-based data platform (Synapse, Databricks, Data Lakehouse) for a travel/cruise-industry client in Warsaw. Day to day: designing ETL/ELT pipelines in Python, SQL and Spark, building Databricks workflows and DLT, supporting migration to Unity Catalog, plus CI/CD, monitoring and pipeline optimization.
Dla naszego klienta z branży turystycznej i rejsowej poszukujemy doświadczonej osoby na stanowisko Senior Data Engineera. Projekt jest długoterminowy i dotyczy rozwoju globalnej platformy danych opartej na ekosystemie Azure.
O kliencie
Nasz klient działa na skalę światową w branży turystycznej, oferując rejsy rzeczne, morskie i oceaniczne oraz podróże ekspedycyjne. Zarządza rozbudowaną flotą i dużymi wolumenami danych, które wspierają procesy operacyjne, finansowe, raportowe i analityczne.
Szczegóły współpracy
- Rola: Senior Data Engineer
- Start: ASAP
- Czas trwania: projekt długoterminowy
- Język: angielski min. B2+
Czym się zajmiesz
- Projektowanie, rozwój i utrzymanie skalowalnych rozwiązań danych w ekosystemie Azure Data Platform (Azure Synapse, Databricks, Data Lakehouse)
- Wdrażanie i optymalizacja procesów ETL/ELT: pobieranie, transformacja i udostępnianie danych z wielu domen biznesowych
- Tworzenie rozwiązań do przetwarzania danych w Pythonie, SQL i Apache Spark
- Wsparcie migracji i modernizacji platformy, w tym wdrożenia Unity Catalog oraz aktualizacji platformy
- Budowa i utrzymanie workflowów Databricks, Delta Live Tables (DLT), frameworków metadata-driven i procesów orkiestracji
- Współpraca z architektami, analitykami i interesariuszami biznesowymi przy przekładaniu wymagań na rozwiązania techniczne
- Dbanie o jakość, niezawodność, wydajność i bezpieczeństwo danych
- Analiza incydentów produkcyjnych, wyszukiwanie przyczyn źródłowych i wdrażanie działań naprawczych
- Udział we wdrażaniu CI/CD, automatyzacji infrastruktury, monitoringu i dobrych praktyk operacyjnych
- Optymalizacja pipeline’ów, struktur przechowywania danych i obciążeń przetwarzania pod kątem wydajności i kosztów
- Udział w przeglądach rozwiązań i architektury oraz promowanie standardów inżynierskich i zasad governance
- Dzielenie się wiedzą, mentoring i wspieranie rozwoju technicznego zespołu
- Ścisła współpraca z Data Architektami i zespołami platformowymi, aby zapewnić zgodność z architekturą korporacyjną i zasadami Lakehouse
- Dostarczanie niezawodnych, skalowalnych fundamentów danych dla raportowania, analityki i inicjatyw AI/ML
Wymagania techniczne
- Apache Spark
- Python
- SQL
- Azure Cloud: Azure Databricks, Azure Data Factory, Azure Data Lake, Azure Synapse Analytics, Azure Data Explorer
- Databricks
- CI/CD i Azure DevOps
- Power BI
- Doświadczenie w budowie i utrzymaniu procesów ETL/ELT
- Doświadczenie z Delta Live Tables (DLT)
- Doświadczenie z Unity Catalog
- Zrozumienie architektury Lakehouse
- Doświadczenie w automatyzacji infrastruktury, monitoringu i logowaniu
Czego jeszcze oczekujemy
- Silnych umiejętności analitycznych i rozwiązywania problemów
- Samodzielności oraz wysokiego poziomu ownership i odpowiedzialności
- Proaktywnego podejścia do identyfikowania ryzyk, blokerów i możliwości usprawnień
- Bardzo dobrej komunikacji i umiejętności pracy z interesariuszami technicznymi i biznesowymi
- Doświadczenia w pracy w dynamicznym środowisku ze zmieniającymi się priorytetami
- Umiejętności podejmowania pragmatycznych decyzji i dowożenia rezultatów przy niepełnych wymaganiach
- Doświadczenia w zespołach cross-funkcyjnych
- Znajomości zasad data governance, bezpieczeństwa i compliance
- Komfortu pracy w środowisku o relatywnie niskim poziomie formalnych procesów
- Elastyczności, odporności i dobrej organizacji pracy
- Umiejętności samodzielnego prowadzenia inicjatyw i proponowania praktycznych rozwiązań
Szukamy osoby, która odnajdzie się w środowisku „kontrolowanego chaosu”, gdzie liczą się elastyczność, inicjatywa i samoorganizacja.