Data Engineer
Description
Projekt Migracji Bazy Oraclowej na platformę GCP opartej na: Big Query / Pub-Sub / Cloud Storage w banku PKO BP.
Forma współpracy: B2B
Tryb: hybrydowo
Opis stanowiska
projektowanie, implementacja i rozwój rozwiązań Data Engineering na Google Cloud Platform, przede wszystkim z wykorzystaniem BigQuery, Cloud Storage i Pub/Sub;
migracja i przebudowa procesów przetwarzania oraz zasilania danych z Oracle/on-premise do GCP;
projektowanie i rozwój procesów wsadowych (batch) oraz strumieniowych (streaming), wraz z mechanizmami kontroli jakości, ponawiania i obsługi błędów;
projektowanie struktur i modeli danych w BigQuery z uwzględnieniem wydajności, skalowalności oraz kosztu przetwarzania i składowania danych;
analiza danych oraz przygotowywanie logicznych i fizycznych modeli danych dla Oracle, PostgreSQL i warstw danych w GCP;
tworzenie, analiza i strojenie zapytań SQL, w tym analiza planów wykonania i identyfikowanie wąskich gardeł dla dużych wolumenów danych;
analiza istniejących procesów Informatica PowerCenter i migracja do rozwiązań docelowych w GCP;
implementacja logiki transformacji, walidacji i integracji danych w SQL oraz Python, jeżeli wynika to z projektowanego rozwiązania;
wykonywanie analizy technicznej, analizy wpływu i zależności oraz udział w uzgadnianiu specyfikacji rozwiązania;
przygotowywanie testów jednostkowych i integracyjnych oraz wsparcie testów systemowych, wydajnościowych, regresji i UAT;
przygotowanie zmian do wdrożenia, instrukcji wdrożenia oraz wsparcie wdrożenia i weryfikacji powdrożeniowej;
diagnozowanie i usuwanie incydentów oraz udział w analizie przyczyn problemów związanych z przetwarzaniem i jakością danych;
tworzenie i aktualizację dokumentacji technicznej oraz pracę z repozytorium kodu i procesami CI/CD zgodnie z modelem DevOps.
Wymagania
minimum 2-letnie komercyjne doświadczenie w projektowaniu i implementacji procesów integracji lub przetwarzania danych, przy czym dominująca część praktycznego doświadczenia powinna dotyczyć Google Cloud Platform oraz pracy z BigQuery, Cloud Storage i Pub/Sub.
praktyczne doświadczenie z Oracle, w tym w tworzeniu oraz optymalizacji zapytań SQL i pracy z dużymi wolumenami danych.
doświadczenie developerskie z Informatica PowerCenter pozwalające na samodzielną analizę i modyfikację procesów ETL, jednak technologia ta nie stanowi głównego obszaru roli.
Aplikuj