Data Engineer (GCP / Data Quality)
Summary
Data Quality / Data Engineer on a banking program for source data quality assurance: identifying data issues, defining validation rules, and building validation pipelines on Google Cloud Platform using BigQuery, Dataplex, Dataproc, Composer (Airflow), Python, SQL, and DBT. B2B contract with 1 day per week in the Warsaw office.
Branża: Bankowość
Lokalizacja: 1 dzień w tyg z biura w Warszawie
Stawka: do 155 zł/h netto na b2b
Poszukujemy specjalisty ds. Data Quality i Data Engineering, który dołączy do programu realizowanego w obszarze „Mechanizmy Zapewnienia Jakości Danych źródłowych”. Rola koncentruje się na budowie rozwiązań zapewniających wysoką jakość danych już na etapie ich wprowadzania do systemów bankowych, analizie procesów biznesowych, definiowaniu reguł walidacyjnych oraz rozwoju rozwiązań opartych o Google Cloud Platform.
Zakres obowiązków:
Udział w projekcie związanym z zapewnieniem jakości danych źródłowych
Identyfikacja problemów jakości danych oraz analiza ich przyczyn
Analiza procesów biznesowych i definiowanie reguł walidacyjnych
Wdrażanie mechanizmów poprawiających jakość danych
Współpraca z zespołami biznesowymi i IT w celu eliminacji źródeł błędów danych
Budowa procesu walidacji danych na Nowej Platformie Danych
Projektowanie i implementacja rozwiązań chmurowych oraz platform danych
Wsparcie organizacji w realizacji inicjatyw związanych z nowoczesnymi rozwiązaniami data & cloud
Realizacja zadań zgodnie z przyjętymi standardami technicznymi i architektonicznymi
Wymagania:
Doświadczenie w projektach związanych z jakością danych
Silne kompetencje analityczne
Umiejętność efektywnej współpracy w zespołach projektowych oraz z biznesem
Umiejętność szybkiej adaptacji do środowiska klienta
Doświadczenie w budowie rozwiązań chmurowych w środowisku Google Cloud Platform (GCP)
Praktyczna znajomość projektowania i implementacji systemów przetwarzania danych oraz integracji systemów
Doświadczenie w pracy z:
Dataplex
Dataproc
Composer (Airflow)
BigQuery
Znajomość DBT
Bardzo dobra znajomość Python i SQL
Umiejętność samodzielnego tworzenia i rozwoju aplikacji oraz komponentów integracyjnych działających w środowisku chmurowym
Doświadczenie w pracy z repozytoriami GitHub
Znajomość Google Artifact Registry
Dbałość o zgodność rozwiązań ze standardami technicznymi i architektonicznymi.