Data Engineer (Oracle)
Posted
Summary
Data engineer on an insurance-industry project integrating Databricks and Azure Data Factory with an on-premise Oracle/SAS data warehouse: designing ETL processes and data flows, building data marts and BI reports, and automating delivery with CI/CD. Hybrid work with one office day per week in Warsaw; budget up to 170 PLN net+VAT/hour.
Zakres współpracy obejmuje:
- wsparcie projektu z branży ubezpieczeniowej w zakresie integracji systemu chmurowego z Databricks oraz istniejącą Hurtownią Danych opartą o Oracle i SAS,
- projektowanie i implementacja procesów ETL oraz przepływów danych pomiędzy warstwą cloud i środowiskiem on-premise,
- integracja Databricks, Azure Data Factory oraz Oracle, w tym przygotowanie danych do dalszego przetwarzania w Hurtowni Danych,
- udział w projektowaniu architektury rozwiązań danych, definiowaniu standardów technicznych oraz projektowaniu interfejsów wymiany danych między systemami,
- automatyzacja procesów wytwarzania i utrzymania rozwiązań, z wykorzystaniem CI/CD, GitHub Copilot oraz Visual Studio Code,
- realizacja bieżących zadań związanych z rozwojem i utrzymaniem rozwiązań Hurtowni Danych/BI w technologiach SAS, Oracle, Microsoft Fabric, Python, Kafka oraz Sanmargar Metastudio,
- budowa technicznych data martów, raportów BI oraz komponentów wspierających przetwarzanie i optymalizację danych,
- wsparcie projektów strategicznych w aspektach technologicznych, integracyjnych i architektonicznych,
- tryb realizacji usług: hybrydowo, obejmujący obecność w biurze w Warszawie 1 raz w tygodniu,
- budżet projektu: do 170 zł netto+VAT/h, w zależności od doświadczenia oraz zakresu świadczonych usług.
Kogo poszukujemy?
- praktyczne doświadczenie w budowie i rozwoju hurtowni danych,
- bardzo dobra znajomość Oracle, mile widziane Oracle Exadata,
- umiejętność projektowania i implementacji procesów ETL, modelowania danych oraz projektowania przepływów danych,
- praktyczna znajomość Databricks oraz doświadczenie z danymi w środowisku cloud data platform i integracji Databricks z systemami zewnętrznymi,
- doświadczenie w środowiskach hybrydowych cloud + on-premise i w projektach Data & Analytics,
- znajomość Azure Data Factory, integracji danych pomiędzy cloud i on-premise oraz platform danych w Azure,
- znajomość SAS 9.4, SAS Viya i procesów realizowanych w środowisku SAS,
- znajomość Git/GitHub/Bitbucket/Bamboo w celu automatyzacji procesu wytwarzania,
- umiejętność wykorzystania AI/GitHub Copilot w zadaniach developerskich i analitycznych,
- umiejętność projektowania rozwiązań analitycznych, definiowania standardów technicznych oraz projektowania architektury rozwiązań danych,
- znajomość nowoczesnych architektur danych i projektowania interfejsów wymiany danych pomiędzy systemami,
- Mile widziane: Microsoft Fabric, programowanie w Pythonie, automatyzacja procesów, tworzenie skryptów integracyjnych i przetwarzanie danych. Format Parquet, praca z warstwami Data Lake, integracje oparte na Kafka i strumieniach danych.