Data Engineer
Posted Updated
Summary
Data Engineer based in Warsaw (remote possible) who designs, builds, and optimizes data pipelines on Databricks, implements SQL transformations (views and materialized views), develops and tunes Apache Spark notebooks, and monitors and optimizes existing ETL solutions for performance and scalability.
Poszukujemy Data Engineera, który wesprze zespół w projektowaniu, budowie i optymalizacji potoków danych, koncentrując się na wydajności i utrzymaniu czystości architektury danych.
Obowiązki:
- Projektowanie i rozwijanie potoków danych na platformie Databricks.
- Implementacja transformacji danych przy użyciu SQL (widoki, widoki materializowane).
- Tworzenie i optymalizacja notebooków Apache Spark.
- Zapewnienie wysokiej wydajności oraz skalowalności procesów przetwarzania danych.
- Integracja różnych źródeł danych, tworzenie modeli danych i zapewnianie ich zgodności z wymaganiami biznesowymi.
- Monitorowanie, utrzymanie i optymalizacja istniejących rozwiązań ETL.
- Współpraca z zespołami analitycznymi i biznesowymi w celu zrozumienia potrzeb danych.
Wymagania:
- Minimum 3 lata doświadczenia na stanowisku Data Engineer lub podobnym.
- Bardzo dobra znajomość SQL i doświadczenie w projektowaniu złożonych transformacji danych.
- Doświadczenie z platformą Databricks oraz Apache Spark.
- Znajomość koncepcji widoków i widoków materializowanych w hurtowniach danych.
- Praktyczna znajomość narzędzi ETL oraz zasad modelowania danych.
- Doświadczenie w integracji danych z różnych źródeł (strukturalnych i niestrukturalnych).
- Umiejętność pisania optymalnego i wydajnego kodu dla dużych wolumenów danych.
- Bardzo dobra znajomość języka angielskiego (praca w międzynarodowym środowisku).
Mile widziane:
- Doświadczenie z technologiami chmurowymi (AWS, Azure, GCP).
- Znajomość Python i/lub Scala w kontekście przetwarzania danych.
- Doświadczenie w pracy z narzędziami do wersjonowania kodu (np. Git).