Data Engineer
Summary
The Data Engineer will implement data models and develop ETL/ELT processes using PySpark, dbt Core, and Airflow within a banking environment. The role involves building data pipelines, ensuring data quality, and supporting deployments on GCP.
Branża: bankowość
Stawka: do 175 zł/h netto + VAT, B2B
Lokalizacja: Warszawa (2 razy w tygodniu z biura)
Projekt długofalowy
Czym będziesz się zajmować:
Wdrażać modele danych przygotowane przez architektów i modelarzy
Tworzyć procesy ETL/ELT w trybie batch i streaming
Rozwijać modele, transformacje i testy w dbt Core oraz PySpark
Budować i utrzymywać DAG-i w Airflow / Cloud Composer
Wdrażać mechanizmy walidacji i kontroli jakości danych
Współtworzyć generatory i frameworki zasileń danych
Przygotowywać testy jednostkowe, integracyjne i jakościowe
Prowadzić dokumentację techniczną
Wspierać wdrożenia na środowiska TEST, PREPROD i PROD
Czego oczekujemy:
3+ lat doświadczenia jako Data Engineer lub GCP Developer
Bardzo dobrej znajomości Pythona, PySparka i SQL
Praktycznego doświadczenia z BigQuery i dbt Core
Doświadczenia z Cloud Composer / Airflow, Cloud Storage i Pub/Sub
Doświadczenia w budowie procesów ETL/ELT i przetwarzaniu dużych zbiorów danych
Znajomości GitHub, CI/CD i dobrych praktyk tworzenia oprogramowania
Doświadczenia w przygotowywaniu testów jednostkowych, integracyjnych lub jakościowych
Angielskiego na poziomie umożliwiającym pracę z dokumentacją techniczną
Mile widziane:
Znajomość Dataproc lub Dataflow
Doświadczenie w procesach streamingowych
Znajomość Terraform i Infrastructure as Code
Doświadczenie w obszarze Data Quality i Data Governance
Znajomość branży finansowej lub bankowej