Data Engineer (K/M)
Summary
Data Engineer developing and maintaining a customer data platform (CDP) in a Data Lakehouse architecture on Google Cloud for a fuel/energy-sector client. Day to day: designing batch and streaming ETL/ELT pipelines, Bronze/Silver/Gold transformations, CDC replication to BigQuery, plus data quality and governance. Mostly remote, with 1–2 days per month in the Warsaw office.
Rozwój i utrzymanie platformy CDP w architekturze Data Lakehouse na Google Cloud dla klienta z branży paliwowo-energetycznej. Będziesz projektować i optymalizować potoki ETL/ELT (batch i streaming), zarządzać transformacjami w warstwach Bronze/Silver/Gold, obsługiwać CDC i replikację do BigQuery oraz dbać o jakość danych i Data Governance. Dla Data Engineera z praktyką w GCP, praca w większości zdalna (1–2 dni w miesiącu w biurze w Warszawie).
- doświadczenie w kilku projektach wdrożeniowych rozwiązań chmurowych w roli Data Engineer
- min. 6 miesięcy praktycznego doświadczenia z technologiami GCP
- bardzo dobra znajomość BigQuery (partycjonowanie, klastrowanie, tabele zewnętrzne, optymalizacja zapytań), Cloud Storage, Cloud Dataflow (Apache Beam) i Cloud Composer (Apache Airflow)
- znajomość Datastream, Dataplex, Pub/Sub i Dataform
- zrozumienie architektury medalionowej oraz zasad Data Governance (deduplikacja, wersjonowanie danych)
- znajomość Git i procesów CI/CD (np. Cloud Build) oraz konfiguracji Cloud Monitoring/Logging
- znajomość angielskiego umożliwiająca pracę w środowisku międzynarodowym