Senior Data Platform Engineer

Czym będziesz się zajmować?

• Projektowanie i wdrażanie nowych rozwiązań w ramach dużej platformy danych opartej na technologii Azure Databricks
• Tworzenie i optymalizacja kodu SQL i Python w celu zapewnienia efektywnego przetwarzania w środowisku chmurowym platformy danych
• Budowanie przepływów danych zgodnie z aktualnym frameworkiem oraz wymaganiami funkcjonalnymi i niefunkcjonalnymi
• Opracowywanie i wdrażanie procesów oraz najlepszych praktyk w zakresie zarządzania i nadzoru nad danymi
• Optymalizacja i usprawnianie konfiguracji systemu oraz poprawa struktur danych zgodnie z najlepszymi praktykami branżowymi
• Współpraca z administratorami systemu w celu identyfikacji i projektowania optymalnych interfejsów do komunikacji z platformą danych w środowisku chmurowym
• Efektywna współpraca z zespołem inżynierów danych oraz ścisła współpraca z analitykami i architektem platformy danych

• Minimum 5-letnie doświadczenie w pracy w środowisku chmurowym na stanowiskach inżyniera danych, programisty lub pokrewne
• Bardzo dobra znajomość języków Python oraz ANSI SQL
• Praktyczna znajomość Azure Databricks Lakehouse poparta doświadczeniem w pracy z tą technologią
• Korzystanie z konektorów Databricks do integracji systemów źródłowych (REST API, JDBC, SaaS, pliki)
• Przetwarzanie strumieniowe: Structured Streaming, Auto Loader
• Projektowanie i orkiestracja pipeline'ów danych (ETL/ELT) w architekturze medalionu z Databricks i/lub Azure Data Factory
• Data governance i security: Unity Catalog, RBAC, zarządzanie dostępami
• Optymalizacja Spark: tuning zapytań, zarządzanie plikami, liquid clustering, Z-ORDER, OPTIMIZE/VACUUM
• Spark Declarative Pipelines: definiowanie zależności, zarządzanie DAG, integracja z pipeline'ami danych
• Znajomość Declarative Automation Bundles lub podobnych podejść do zarządzania deploymentem
• Wykorzystanie modeli LLM/AI do generowania kodu dla transformacji i pobierania danych w Databricks
• Znajomość jęz. angielskiego umożliwiająca prowadzenie spotkań biznesowych oraz tworzenia dokumentacji min. B2
• Doświadczenie w pracy z dokumentacją projektową
• Dokładność i proaktywna postawa w realizacji powierzonych zadań (proponowanie rozwiązań i scenariuszy)

• Data analyst
• Python
• Databricks
• ANSI SQL

• Structured Streaming
• Auto Loader
• ETL
• ELT
• Unity Catalog
• RBAC
• Spark tuning
• Spark liquid clustering

• Polski
• Angielski

• 20.2k–26.9k PLN netto/m (B2B)
• B2B - Elastyczne godziny pracy (100%)
• Praca zdalna: W całości
• Pakiet medyczny, Ubezpieczenie, Pakiet sportowy

The authorized Informatica Corp, Altair and KMS Lighthouse distributor in Poland and CEE with added value - professional services. Our company is providing, besides licenses, implementation services, trainings, onsite experts etc.