Data Engineer (GCP) [M/F]
Summary
Data Engineer joining a team that migrates a data quality monitoring solution from a legacy platform to GCP using BigQuery and dbt Core. Day to day: designing data pipelines and ETL/ELT processes, implementing data quality metrics in dbt Core, and building repositories to store and monitor check results.
Dołączysz do zespołu, który migruje istniejące rozwiązanie do monitorowania jakości danych (Data Quality) z platformy legacy do środowiska GCP z wykorzystaniem BigQuery i dbt Core. Będziesz projektować i rozwijać pipeline'y danych oraz procesy ETL/ELT, implementować mechanizmy i metryki Data Quality w dbt Core, przygotowywać mapowania między rozwiązaniami oraz budować repozytoria do przechowywania i monitorowania wyników kontroli. To oferta dla Data Engineera z doświadczeniem w chmurze i SQL, który interesuje się obszarem jakości danych i migracjami do chmury.
- min. 4 lata doświadczenia na stanowisku Data Engineer
- praktyczne doświadczenie w budowaniu i utrzymywaniu pipeline'ów danych
- doświadczenie w projektowaniu i implementacji procesów ETL/ELT
- doświadczenie w migracji, transformacji i przetwarzaniu danych
- znajomość zagadnień związanych z Data Quality, monitoringiem i walidacją danych
- praktyczna znajomość GCP i doświadczenie z Google BigQuery
- doświadczenie z dbt Core
- umiejętność współpracy w zespołach interdyscyplinarnych