Data Engineer
Posted Updated 17
views
Summary
Joins a project and maintenance team building, developing, and maintaining a Customer Data Platform (CDP) in a Data Lakehouse architecture on Google Cloud Platform — designing and optimizing ETL/ELT pipelines in Python and SQL, working with BigQuery, and orchestrating data processes with Apache Airflow.
Nasze wymagania:
- Doświadczenie na stanowisku Data Engineer lub pokrewnym
- Praktyczna znajomość Google Cloud Platform (GCP), w szczególności BigQuery
- Dobra znajomość SQL i Python
- Doświadczenie w projektowaniu i rozwijaniu procesów ETL/ELT
- Znajomość Apache Airflow i orkiestracji procesów danych
- Doświadczenie w pracy z relacyjnymi bazami danych
- Znajomość architektury Data Lakehouse oraz zagadnień związanych z jakością i integracją danych
- Znajomość Git i podstaw procesów CI/CD
- Umiejętność analitycznego myślenia, rozwiązywania problemów i pracy zespołowej
O projekcie:
Poszukujemy Data Engineera, który dołączy do zespołu projektowego i utrzymaniowego, wspierając budowę, rozwój oraz utrzymanie platformy Customer Data Platform (CDP) w architekturze Data Lakehouse opartej na Google Cloud Platform (GCP). To okazja do pracy przy nowoczesnych rozwiązaniach przetwarzania danych w ramach dużego, złożonego środowiska technologicznego.
Zakres obowiązków:
- Rozwój i utrzymanie platformy CDP w architekturze Data Lakehouse na GCP
- Projektowanie i optymalizacja procesów ETL/ELT
- Tworzenie i rozwój potoków przetwarzania danych z wykorzystaniem Python i SQL
- Praca z BigQuery oraz integracja danych z różnych źródeł
- Orkiestracja procesów danych z wykorzystaniem Apache Airflow
- Dbałość o jakość, spójność i wydajność przetwarzanych danych
- Monitorowanie procesów oraz rozwiązywanie problemów
- Współpraca z zespołem projektowym i utrzymaniowym
Oferujemy:
- Praca w firmie, która otrzymała nagrodę Great Place to Work Award i Diamentowy Certyfikat Forbesa
- Pakiet benefitów
- Realny wpływ na architekturę rozwiązania oraz podejmowanie decyzji technicznych