Data Engineer (Data Integration & Quality) room Wrocław
Posted 5
views
Summary
Scalo is hiring a Data Engineer for a client project preparing data for modeling: building data layers, integrating and cleansing data from multiple sources, and defining data quality rules using SQL, Python, and Airflow. The work is done remotely with a visit to Wrocław about once every 6 months, paying up to 150 PLN/h.
Cześć! Poznaj możliwości współpracy ze Scalo!
Zakres współpracy obejmuje:
- udział w projekcie związanym z przygotowaniem danych pod modelowanie oraz budową spójnej i kompletnej historii danych wykorzystywanych w procesach modelowych,
- projektowanie i rozwój warstw danych oraz procesów ich zasilania,
- integracja danych pochodzących z wielu źródeł, ich czyszczenie, ujednolicanie, transformacja i walidacja,
- analiza potrzeb oraz planowanie kolejnych etapów realizacji rozwiązań data engineeringowych,
- prowadzenie uzgodnień z właścicielami danych, odbiorcami biznesowymi oraz zespołami technicznymi,
- organizacja i prowadzenie spotkań oraz warsztatów, przygotowywanie rekomendacji, podsumowań i kolejnych kroków,
- definiowanie mapowań, reguł transformacji oraz reguł jakości danych,
- rozwój procesów przetwarzania danych z wykorzystaniem przede wszystkim SQL, Python i Airflow,
- wsparcie testów, code review, wdrożeń i odbiorów przygotowanych rozwiązań,
- dokumentowanie źródeł danych, mapowań, reguł biznesowych, transformacji oraz decyzji projektowych,
- identyfikacja zależności, ryzyk i problemów oraz inicjowanie działań prowadzących do ich rozwiązania,
- koordynacja przepływu informacji pomiędzy uczestnikami projektu oraz dbanie o jasny podział odpowiedzialności i domykanie ustaleń,
- współpraca z wieloma zespołami w środowisku Agile,
- lokalizacja projektu: Wrocław,
- tryb realizacji usług: zdalnie, z wizytą we Wrocławiu ok. 1 raz na 6 miesięcy,
- budżet projektu: do 150 PLN/h + VAT, w zależności od doświadczenia oraz zakresu świadczonych usług.
Kompetencje wymagane do realizacji usług:
- minimum 6 lat doświadczenia komercyjnego w pracy z danymi, w tym przy budowie warstw danych, integracji danych lub rozwiązaniach analitycznych,
- bardzo dobra, praktyczna znajomość SQL na poziomie zaawansowanym,
- praktyczna znajomość Python,
- doświadczenie z narzędziami do automatyzacji lub orkiestracji procesów danych, np. Apache Airflow,
- doświadczenie w integracji i mapowaniu danych z wielu źródeł, ich ujednoliceniu oraz definiowaniu reguł transformacji,
- doświadczenie w definiowaniu, weryfikacji i utrzymywaniu reguł jakości danych,
- dobre rozumienie architektury przepływu danych – od systemów źródłowych, przez przetwarzanie i transformację, po warstwy udostępniane odbiorcom,
- doświadczenie w realizacji projektów angażujących wiele zespołów i interesariuszy,
- umiejętność planowania działań, ustalania priorytetów oraz zarządzania zależnościami projektowymi,
- umiejętność strukturyzowania niejednoznacznych potrzeb oraz przekładania ich na konkretne rozwiązania i działania,
- doświadczenie w prowadzeniu uzgodnień technicznych i biznesowych oraz komunikowaniu decyzji, ryzyk i konsekwencji,
- samodzielność i ownership w prowadzeniu powierzonych obszarów od analizy do wdrożenia,
- znajomość języka angielskiego na poziomie minimum B2.
Mile widziane:
- doświadczenie w prowadzeniu lub koordynowaniu projektu, strumienia prac lub złożonej inicjatywy data angażującej wiele zespołów,
- doświadczenie w projektach związanych z przygotowaniem danych na potrzeby modelowania lub zaawansowanej analityki,
- doświadczenie w prowadzeniu warsztatów i uzgodnień pomiędzy zespołami biznesowymi i technicznymi.
Co oferujemy w ramach współpracy?
Różnorodne projekty technologiczne
Realizacja projektów z obszaru Software, Embedded, Data, Cloud Services i AI.
Inicjatywy eksperckie i presalesowe
Możliwość udziału w działaniach eksperckich oraz wsparciu procesów presalesowych.
Dodatkowe korzyści
Opieka medyczna, karta sportowa oraz platforma kafeteryjna dostępne zgodnie z obowiązującymi zasadami współpracy.