GCP Data Engineer
Summary
The GCP Data Engineer will develop and maintain data processing solutions within the Google Cloud Platform, focusing on building batch and streaming pipelines. The role involves using Python, SQL, and various GCP services to support analytics and reporting in a banking environment.
Informacje o projekcie:
Branża: bankowość
Stawka: do ok. 158 zł/h netto + VAT, B2B
Lokalizacja: wizyty 1-2 x w tygodniu w biurze - Warszawa
Podsumowanie: Poszukujemy programisty GCP, który będzie wspierał rozwój i implementację rozwiązań chmurowych, efektywnie współpracując w zespole oraz angażując się w techniczne dyskusje w celu tworzenia innowacyjnych platform danych.
Obowiązki:
Rozwój i utrzymanie rozwiązań przetwarzania danych w środowisku Google Cloud Platform (GCP).
Tworzenie potoków danych (batch i streaming) z wykorzystaniem usług BigQuery, DBT, Dataflow, Composer i Cloud Storage.
Programowanie w językach Python i SQL.
Budowa i optymalizacja struktur danych wspierających analitykę i raportowanie.
Automatyzacja wdrożeń z wykorzystaniem Terraform oraz repozytoriów GitHub.
Testowanie, monitorowanie i utrzymanie rozwijanych rozwiązań.
Współpraca z analitykami, architektami oraz zespołami projektowymi przy realizacji wymagań biznesowych.
Wymagania (Must Haves):
Doświadczenie w projektowaniu i budowie rozwiązań chmurowych na Google Cloud Platform (GCP).
Bardzo dobra znajomość języków programowania Python i SQL.
Znajomość usług Dataproc, Composer (Airflow), Cloud Storage oraz Big Query.
Doświadczenie w pracy z repozytoriami kodu GitHub.
Doświadczenie w zarządzaniu artefaktami aplikacyjnymi przy wykorzystaniu Google Artifact Registry.
Wymagania (Nice to Haves):
Znajomość DBT.
Znajomość Terraform.
Inne szczegóły:
Kategoria 1: Zespół projektowy nastawiony na współpracę i otwartą komunikację.
Kategoria 2: Środowisko chmurowe Google Cloud Platform.