Data Engineer / Python

Budget: 155PLN/h + VAT on B2B contract

Banking

Hybrid way of worki 2x per week in Warsaw’s office

Opis stanowiska

Poszukujemy doświadczonego Data Engineera, który będzie współtworzył nowoczesny ekosystem danych. Rola obejmuje rozwój platformy data lakehouse na Google Cloud Platform (GCP), wspierającej raportowanie, analitykę, Data Governance oraz przyszłe rozwiązania AI.

Projekt:

• Strategiczny program budowy platformy danych w modelu „data-driven bank”.

• Rozwój nowoczesnego rozwiązania data lakehouse na Google Cloud Platform integrującego raportowanie, analitykę i zarządzanie danymi.

Zakres obowiązków:

• Budowa i utrzymanie pipeline'ów danych w dbt oraz orkiestracja przepływów w Apache Airflow.

• Rozwój komponentów przetwarzania danych w Pythonie i PySpark.

• Projektowanie i rozwój warstw Gold i Platinum platformy lakehouse w architekturze medallion na BigQuery.

• Optymalizacja wydajności i kosztów w BigQuery (partycjonowanie, klastrowanie, FinOps).

• Budowa i utrzymanie procesów CI/CD z wykorzystaniem GitHub Actions.

• Rozwój infrastruktury jako kodu (Terraform).

• Implementacja modelu bezpieczeństwa danych (IAM, RBAC/ABAC, policy tags, DLP).

• Współtworzenie standardów Data Governance, metadanych oraz data lineage.

• Udział w code review i rozwijaniu standardów pracy zespołu.

• Konsultacje techniczne dla zespołów domenowych w modelu hub & spoke oraz promowanie dobrych praktyk Data Engineering na GCP.

Wymagania:

• Minimum 5 lat doświadczenia w inżynierii danych.

• Minimum 2 lata doświadczenia w projektach opartych o Google Cloud Platform.

• Doświadczenie w projektowaniu i wdrażaniu hurtowni danych lub platform data lakehouse w środowisku produkcyjnym.

• Umiejętność projektowania rozwiązań end-to-end oraz uzasadniania decyzji architektonicznych.

• Umiejętność współpracy z analitykami, Data Scientistami i biznesem.

Wymagane kompetencje techniczne:

• Zaawansowana znajomość SQL (zapytania analityczne, window functions, CTE, optymalizacja zapytań, modelowanie danych).

• Zaawansowana znajomość Python (OOP, moduły produkcyjne, testy jednostkowe, pandas, numpy).

• Praktyczna znajomość Google Cloud Platform, w szczególności: IAM, Cloud Storage, Secret Manager, Cloud Logging i Monitoring.

• Doświadczenie z BigQuery (projektowanie schematów, partycjonowanie, klastrowanie, optymalizacja kosztów i wydajności).

• Doświadczenie z dbt (modele, makra, testy, snapshoty, dokumentacja).

• Doświadczenie z Apache Airflow (projektowanie DAG-ów i orkiestracja pipeline'ów).

• Doświadczenie z Apache Spark / PySpark.

• Znajomość CI/CD z wykorzystaniem GitHub Actions.

• Bardzo dobra znajomość Git (branching, pull requesty, code review, git flow).

Mile widziane:

• Terraform i Infrastructure as Code na GCP.

• Data Governance i Knowledge Catalog (Dataplex, Data Catalog, metadane, data lineage, DLP).

• Docker.

• FinOps i optymalizacja kosztów w GCP.

• Doświadczenie z architekturą medallion lub data mesh.

• Doświadczenie w sektorze finansowym lub bankowym.

• Certyfikaty GCP, m.in. Professional Data Engineer lub Professional Cloud Architect.