Mid GCP Data Engineer (zdalnie)
Summary
Fully remote (B2B) mid-level Data Engineer who builds and maintains data pipelines and ETL processes, integrates data from sources like Kafka, MQ, SFTP and APIs, and helps migrate an Oracle data warehouse to Google Cloud Platform. Core stack: GCP, dbt, SQL/PL-SQL, Python, Spark, Kafka, Linux/Bash.
Be in IT specjalizuje się w kompleksowej rekrutacji specjalistów IT dla polskich i międzynarodowych firm. Wspieramy klientów w pozyskiwaniu ekspertów z obszarów software development, AI, data, cloud, cybersecurity, ERP, CRM oraz zarządzania IT.
Stawiamy na znajomość technologii, przejrzystą komunikację i partnerskie podejście, dzięki którym skutecznie dopasowujemy kandydatów do potrzeb organizacji i realizowanych projektów.
Obecnie dla naszego klienta poszukujemy osoby na stanowisko: Mid GCP Data Engineer.
Zakres obowiązków:
- Do projektu realizowanego dla naszego klienta poszukujemy doświadczonej osoby na stanowisko Data Engineer, która będzie odpowiedzialna za rozwój i utrzymanie procesów przetwarzania danych oraz udział w migracji istniejącej Hurtowni Danych Oracle do środowiska Google Cloud Platform (GCP).
- Projektowanie, rozwój i utrzymanie procesów pobierania danych z różnych systemów źródłowych do Data Lake.
- Budowa i optymalizacja złożonych potoków danych (Data Pipelines) oraz procesów ETL z wykorzystaniem Apache Spark, Apache Kafka, Python i SQL.
- Tworzenie i rozwijanie frameworków wspierających automatyzację przetwarzania danych.
- Implementacja kompleksowych mechanizmów testowania i kontroli jakości danych.
- Udział w migracji Hurtowni Danych Oracle do środowiska Google Cloud Platform (GCP).
- Integracja danych pochodzących z różnych źródeł, m.in. Kafka, MQ, SFTP, baz danych, API oraz udziałów plikowych.
- Rozwój i optymalizacja procesów przetwarzania danych z wykorzystaniem dbt, SQL i PL/SQL.
- Praca z ekosystemem Cloudera Hadoop oraz środowiskiem Linux/Bash.
- Zapewnienie zgodności rozwiązań z zasadami Data Governance, bezpieczeństwa i jakości danych.
- Współpraca z Data Analystami, Data Scientistami oraz pozostałymi członkami zespołów technicznych.
- Analiza i wdrażanie nowych technologii usprawniających procesy przetwarzania danych.
Oczekujemy:
- Minimum 3 lat doświadczenia w pracy z danymi na stanowisku Data Analyst, Data Quality Analyst lub w pokrewnym obszarze.
- Bardzo dobrej, praktycznej znajomości GCP (Google Cloud Platform) – wymaganie kluczowe.
- Doświadczenia w pracy z dbt (Data Build Tool).
- Zaawansowanej znajomości SQL i PL/SQL.
- Bardzo dobrej znajomości Pythona.
- Praktycznego doświadczenia z systemem Linux oraz skryptami Bash.
- Znajomości ekosystemu Cloudera Hadoop, w szczególności Apache Spark i Apache Kafka.
- Doświadczenia w projektowaniu i rozwijaniu procesów ETL oraz przetwarzaniu danych w czasie rzeczywistym.
- Znajomości zasad zarządzania jakością danych (Data Quality) oraz Data Governance.
- Umiejętności pracy z różnymi systemami źródłowymi i metodami integracji danych, w tym Kafka, MQ, SFTP, API oraz bazami danych.
- Wykształcenia wyższego w obszarze informatyki, Data Science, statystyki, ekonomii lub kierunków pokrewnych.
- Znajomości języka angielskiego na poziomie minimum B2.
Oferujemy:
- Długofalowa współpraca z wynagrodzeniem w przedziale 100-130 PLN netto/godz. + VAT.
- Wsparcie przy zakładaniu i prowadzeniu działalności gospodarczej, dla osób bez takiego doświadczenia.
- Sprawny proces rekrutacyjny - dwie rozmowy techniczne z managerami, online (każda maksymalnie po godzinie).
- Współpraca w pełni zdalna.
- Benefity - prywatna opieka medyczna, karta Multisport.
- Nowoczesny sprzęt zapewniany przez firmę, wraz z softem i konfiguracją.
Skills
Sign in to read and join the discussion.