Data Engineer (GCP / Data Quality)
Summary
Data Engineer focused on data quality for a banking client program: identifying data-quality issues, defining validation rules, and building validation processes on Google Cloud Platform (BigQuery, Dataplex, Dataproc, Composer/Airflow, DBT) with Python and SQL. Hybrid — one day per week in the Warsaw office; B2B contract up to 155 PLN/h net.
Branża: BankowośćLokalizacja: 1 dzień w tyg z biura w Warszawie Stawka: do 155 zł/h netto na b2b
Poszukujemy specjalisty ds. Data Quality i Data Engineering, który dołączy do programu realizowanego w obszarze „Mechanizmy Zapewnienia Jakości Danych źródłowych”. Rola koncentruje się na budowie rozwiązań zapewniających wysoką jakość danych już na etapie ich wprowadzania do systemów bankowych, analizie procesów biznesowych, definiowaniu reguł walidacyjnych oraz rozwoju rozwiązań opartych o Google Cloud Platform.
Zakres obowiązków:
- Udział w projekcie związanym z zapewnieniem jakości danych źródłowych
- Identyfikacja problemów jakości danych oraz analiza ich przyczyn
- Analiza procesów biznesowych i definiowanie reguł walidacyjnych
- Wdrażanie mechanizmów poprawiających jakość danych
- Współpraca z zespołami biznesowymi i IT w celu eliminacji źródeł błędów danych
- Budowa procesu walidacji danych na Nowej Platformie Danych
- Projektowanie i implementacja rozwiązań chmurowych oraz platform danych
- Wsparcie organizacji w realizacji inicjatyw związanych z nowoczesnymi rozwiązaniami data & cloud
- Realizacja zadań zgodnie z przyjętymi standardami technicznymi i architektonicznymi
Wymagania:
- Doświadczenie w projektach związanych z jakością danych
- Silne kompetencje analityczne
- Umiejętność efektywnej współpracy w zespołach projektowych oraz z biznesem
- Umiejętność szybkiej adaptacji do środowiska klienta
- Doświadczenie w budowie rozwiązań chmurowych w środowisku Google Cloud Platform (GCP)
- Praktyczna znajomość projektowania i implementacji systemów przetwarzania danych oraz integracji systemów
- Doświadczenie w pracy z Dataplex
- Dataproc
- Composer (Airflow)
- BigQuery
- Znajomość DBT
- Bardzo dobra znajomość Python i SQL
- Umiejętność samodzielnego tworzenia i rozwoju aplikacji oraz komponentów integracyjnych działających w środowisku chmurowym
- Doświadczenie w pracy z repozytoriami GitHub
- Znajomość Google Artifact Registry
- Dbałość o zgodność rozwiązań ze standardami technicznymi i architektonicznymi.