Data Engineer – Google Cloud
Posted 2
views
Summary
A Data Engineer designs, builds and optimizes data pipelines in Google Cloud, integrating source systems with the data warehouse and analytical layers, and helps migrate legacy data processes to GCP. Core stack: Google Cloud, BigQuery, SQL, Python and ETL/ELT tooling.
Nasze wymagania:
- praktycznego doświadczenia w budowie, utrzymaniu i optymalizacji data pipelines w Google Cloud,
- bardzo dobrej znajomości BigQuery,
- bardzo dobrej znajomości SQL,
- praktycznego doświadczenia z Python w obszarze Data Engineering,
- znajomości procesów i narzędzi ETL/ELT,
- doświadczenia z narzędziami do przetwarzania i orkiestracji danych,
- doświadczenia w implementacji Data Quality, walidacji danych, monitoringu i error handlingu,
- doświadczenia w integracji systemów źródłowych z hurtowniami danych i modelami analitycznymi,
- doświadczenia w pracy z dużymi wolumenami danych,
- znajomości dobrych praktyk związanych z budową skalowalnych i niezawodnych procesów danych.
Mile widziane:
- doświadczenie z Google Cloud Dataflow,
- znajomość Google Cloud Dataproc,
- doświadczenie z Dataform,
- znajomość dbt,
- doświadczenie z Cloud Composer / Apache Airflow,
- udział w projektach migracyjnych z platform legacy do Google Cloud,
- doświadczenie w modernizacji istniejących procesów i architektur danych,
- doświadczenie w optymalizacji wydajności i kosztów procesów działających w BigQuery / Google Cloud.
O projekcie:
Poszukujemy doświadczonego Data Engineera, który będzie odpowiedzialny za budowę, rozwój i optymalizację potoków danych oraz integrację systemów źródłowych z hurtownią danych i warstwami analitycznymi.Istotnym elementem projektu będzie również modernizacja i migracja istniejących procesów danych z rozwiązań legacy do środowiska Google Cloud.
Zakres obowiązków:
- projektowanie, budowa i rozwój potoków danych w Google Cloud,
- praca z BigQuery oraz optymalizacja przetwarzania danych,
- tworzenie i optymalizacja zapytań SQL,
- wykorzystanie Python w procesach przetwarzania i transformacji danych,
- budowa procesów ETL/ELT,
- integracja systemów źródłowych z hurtownią danych, modelami analitycznymi i warstwami konsumpcyjnymi,
- implementacja mechanizmów walidacji i kontroli jakości danych,
- budowa monitoringu procesów oraz mechanizmów obsługi błędów,
- automatyzacja kontroli poprawności przetwarzanych danych,
- udział w migracji i modernizacji procesów danych z platform legacy do Google Cloud,
- współpraca z zespołami odpowiedzialnymi za rozwiązania Data & Analytics.