Data Engineer
Posted 2
views
Summary
Data engineer on a project migrating and rebuilding data processing pipelines from Oracle/on-premise to Google Cloud Platform. Day to day: designing GCP data engineering solutions and batch/streaming processes, modeling data in BigQuery, optimizing SQL, and analyzing/modifying Informatica PowerCenter ETL processes.
Nasze wymagania:
- Minimum 2 lata komercyjnego doświadczenia w obszarze integracji lub przetwarzania danych
- Praktyczne doświadczenie z Google Cloud Platform
- Bardzo dobra znajomość BigQuery
- Doświadczenie z Cloud Storage i Pub/Sub
- Praktyczne doświadczenie z Oracle
- Bardzo dobra znajomość SQL, w tym optymalizacja zapytań i praca z dużymi wolumenami danych
- Doświadczenie developerskie z Informatica PowerCenter, w tym samodzielna analiza i modyfikacja procesów ETL
- Znajomość Python w zakresie transformacji i integracji danych
O projekcie:
projekt związanego z migracją i rozwojem procesów przetwarzania danych w środowisku Google Cloud Platform
Zakres obowiązków:
- Projektowanie i rozwój rozwiązań Data Engineering w GCP
- Migracja i przebudowa procesów przetwarzania danych z Oracle/on‑premise do GCP
- Projektowanie i rozwój procesów batch oraz streaming
- Projektowanie struktur i modeli danych w BigQuery
- Tworzenie i optymalizacja zapytań SQL dla dużych wolumenów danych
- Analiza i modyfikacja procesów ETL w Informatica PowerCenter
- Implementacja transformacji, walidacji i integracji danych
- Przygotowywanie testów jednostkowych i integracyjnych
- Diagnozowanie problemów związanych z przetwarzaniem i jakością danych
- Tworzenie i aktualizacja dokumentacji technicznej