Data Engineer (GCP) | Senior / Expert
RITS Group to firma informatyczna, która oferuje najwyższej jakości usługi programistyczne zarówno dla rynku polskiego, jak i międzynarodowego. Jesteśmy dumni, że należymy do grona najszybciej rozwijających się spółek technologicznych. Naszym priorytetem jest jakość oraz innowacyjność dostarczanych rozwiązań, a nasza kultura organizacyjna opiera się na zaufaniu, współpracy i ciągłym doskonaleniu.
Data Engineer (GCP) | Senior / Expert poszukiwany!
-
Lokalizacja: Kraków (model hybrydowy)
Senior: 6 dni w miesiącu z biura
Expert: 4 dni w miesiącu z biura
-
Stawka B2B:
Senior: do 160 PLN/h
Expert: do 180 PLN/h
O projekcie
Dołącz do zespołu rozwijającego nowoczesną platformę danych opartą o Google Cloud Platform (GCP). Projekt koncentruje się na integracji danych z różnych źródeł, budowie wydajnych pipeline'ów oraz dostarczaniu wysokiej jakości danych na potrzeby analityki i biznesu.
Klient pracuje w środowisku cloud-native, wykorzystując nowoczesne praktyki Data Engineering, CI/CD oraz skalowalne rozwiązania do przetwarzania danych.
Twoje zadania
Projektowanie i rozwój skalowalnych pipeline'ów danych w Google Cloud Platform z wykorzystaniem Python i SQL.
Integracja danych z usług takich jak BigQuery i Cloud Storage.
Tworzenie i optymalizacja procesów transformacji danych.
Współpraca z Data Architectami, Data Delivery Leadami oraz Business Analystami przy projektowaniu rozwiązań.
Projektowanie modeli danych oraz architektury pipeline'ów.
Orkiestracja procesów z wykorzystaniem Apache Airflow / Cloud Composer.
Dbanie o jakość rozwiązań poprzez testy, audytowalność, możliwość ponownego uruchamiania procesów oraz modułową architekturę.
Współtworzenie procesów CI/CD i automatyzacja wdrożeń.
Rozwój rozwiązań opartych o Data Lake, Data Warehouse oraz modele Star Schema i Snowflake.
Wymagania
Bardzo dobra znajomość Google Cloud Platform (GCP).
Bardzo dobra znajomość Python oraz SQL.
Doświadczenie z BigQuery i Cloud Storage.
Praktyczna znajomość Apache Airflow lub Cloud Composer.
Doświadczenie w budowie i utrzymaniu produkcyjnych pipeline'ów danych.
Znajomość modelowania danych (Data Lake, DWH, Star Schema, Snowflake).
Doświadczenie z CI/CD oraz orkiestracją pipeline'ów.
Umiejętność projektowania skalowalnych i łatwych w utrzymaniu rozwiązań.
Doświadczenie w obszarze jakości danych, testowania i observability.
Mile widziane
Doświadczenie z PySpark.
Znajomość ekosystemów Spark i/lub Hadoop.
Doświadczenie z rozwiązaniami do streamingu danych lub Big Data.
Doświadczenie w tworzeniu backendów w Pythonie.
Jeśli szukasz projektu, w którym będziesz mieć realny wpływ na rozwój nowoczesnej platformy danych w chmurze, zapraszamy do kontaktu!
Ta rola nie jest dla Ciebie, ale masz znajomego, który by się sprawdził? Poleć go i zgarnij nawet 5000 zł.