Senior Data Engineer (f/m/x)
Summary
Senior Data Engineer building and maintaining robust, secure data pipelines on Azure Databricks (lakehouse architecture) for a company where data is the core product. Works with Spark, Snowflake, dbt, Python and Delta Lake, sets data engineering standards, collaborates with analytics/product teams, and mentors junior engineers.
Szukamy doświadczonego Data Engineer, który dołączy do zespołu zajmującego się inżynierią danych w dynamicznie rozwijającym się środowisku, w którym dane są głównym produktem. Będziesz pracować w wysoko wykwalifikowanym zespole odpowiedzialnym za rozwój i utrzymanie potoków danych na platformie Azure przy użyciu Databricks, wspierając wszystkie kluczowe funkcje biznesowe. Twoim głównym celem będzie budowanie i utrzymywanie solidnych, bezpiecznych potoków danych oraz pomoc w definiowaniu modelu danych, który dostarcza zaufane zbiory danych naszym klientom. Będziesz współpracować z zespołem inżynierów, analityków danych i właścicieli produktów, aby dostarczać kompleksowe rozwiązania – od pozyskiwania danych po dostarczenie do końcowego klienta.
Twoje zadania
- Projektowanie i rozwój zaawansowanych pipeline'ów danych w środowisku Azure Databricks
- Tworzenie skalowalnej architektury danych z wykorzystaniem technologii lakehouse
- Definiowanie standardów i dobrych praktyk w obszarze Data Engineering
- Współpraca z zespołami Data Analytics, Data Science oraz Product w celu dostarczania kompleksowych rozwiązań
- Mentoring mniej doświadczonych inżynierów i wsparcie techniczne zespołu
- Optymalizacja wydajności, niezawodności, bezpieczeństwa oraz kosztów funkcjonowania platformy danych
Wymagania
- Minimum 8-letnie doświadczenie w inżynierii danych
- Bardzo dobra znajomość Apache Spark, Databricks, Snowflake, dbt oraz Python
- Wcześniejsza praca w projektowaniu rozwiązań opartych na Delta Lake, Apache Iceberg, HDFS lub pokrewne technologie przechowywania danych
- Umiejętność samodzielnego prowadzenia złożonych projektów data engineering oraz współpracy z interesariuszami biznesowymi
- Doświadczenie w technicznym liderowaniu i mentoringu członków zespołu
- Bardzo dobra znajomość języka angielskiego - poziom C1
- Gotowość do wizyt w biurze w Krakowie - 1 raz w miesiącu
Mile widziane
- Doświadczenie w pracy z danymi finansowymi lub produktami ETF, a także znajomość zagadnień Data Modeling, Great Expectations lub Deequ