Cloud Data Architect (GCP)

Wynagrodzenie
B2B: 180 – 200 PLN / godz. netto

Praca hybrydowa: 2x w tyg biura w Warszawie

Poszukujemy Cloud Data Architecta, który będzie odpowiedzialny za projektowanie, rozwój i wdrażanie nowoczesnych rozwiązań z obszaru Data Engineering w środowisku Google Cloud Platform (GCP).

Szukamy osoby łączącej kompetencje architektoniczne z praktycznym doświadczeniem technicznym, która potrafi projektować skalowalne rozwiązania przetwarzania danych, wspierać ich implementację oraz dbać o jakość, wydajność i niezawodność procesów danych.

Zakres obowiązków

• Projektowanie i rozwój architektury rozwiązań danych w środowisku Google Cloud Platform (GCP).

• Projektowanie i wdrażanie skalowalnych procesów ETL/ELT w architekturze batch oraz streaming.

• Projektowanie i rozwój modeli danych oraz procesów transformacji z wykorzystaniem BigQuery, dbt Core i PySpark.

• Projektowanie i utrzymywanie procesów orkiestracji danych z wykorzystaniem Apache Airflow / Cloud Composer.

• Definiowanie standardów, dobrych praktyk oraz wzorców architektonicznych w obszarze Data Engineering.

• Projektowanie mechanizmów walidacji, monitorowania i kontroli jakości danych (Data Quality).

• Współpraca z architektami, modelarzami danych oraz zespołami developerskimi przy wdrażaniu modeli i rozwiązań danych.

• Współtworzenie i rozwój frameworków oraz generatorów procesów zasileń danych.

• Nadzór nad jakością, wydajnością, skalowalnością i niezawodnością wdrażanych rozwiązań.

• Przygotowywanie i weryfikacja testów jednostkowych, integracyjnych oraz jakościowych.

• Wsparcie procesu wdrażania rozwiązań na środowiska TEST, PREPROD i PROD.

• Tworzenie i aktualizacja dokumentacji technicznej oraz architektonicznej.

Wymagania

• Minimum 3 lata doświadczenia w obszarze Data Engineering, Cloud Data Architecture lub jako GCP Developer.

• Bardzo dobra znajomość języków Python, PySpark i SQL.

• Praktyczne doświadczenie w projektowaniu i implementacji rozwiązań opartych na BigQuery oraz dbt Core.

• Doświadczenie w pracy z usługami Google Cloud Platform, w szczególności:

  • Cloud Composer / Apache Airflow,

  • Cloud Storage,

  • Pub/Sub.

• Doświadczenie w projektowaniu i wdrażaniu procesów ETL/ELT oraz przetwarzaniu dużych zbiorów danych.

• Znajomość zagadnień związanych z architekturą platform danych i integracją różnych źródeł danych.

• Doświadczenie w pracy z GitHub, CI/CD oraz stosowaniu dobrych praktyk wytwarzania oprogramowania.

• Praktyczna znajomość testowania rozwiązań danych, w tym testów jednostkowych, integracyjnych i jakościowych.

• Umiejętność projektowania rozwiązań skalowalnych, wydajnych i łatwych w utrzymaniu.

• Znajomość języka angielskiego pozwalająca na swobodną pracę z dokumentacją techniczną.