Data Engineer
Summary
Builds and migrates data pipelines for AML compliance using Databricks, PySpark, and ETL processes to integrate and transform financial data.
Stawka: do 155 pln/h + VAT, B2B
Lokalizacja: zdalnie
Branża: bankowość
Szukamy Data Engineera do rozwoju i migracji warstwy danych w obszarze AML. Kluczowym elementem roli jest budowa i rozwój rozwiązań opartych o Databricks i PySpark, integrujących dane z wielu źródeł oraz rozwój procesów ETL.
Zakres obowiązków
Rozwój i utrzymanie rozwiązań w Databricks z wykorzystaniem PySpark.
Projektowanie, rozwój i optymalizacja procesów ETL.
Integracja danych z różnych źródeł (API, bazy danych, pliki, batch).
Migracja istniejących procesów ETL do nowej architektury danych.
Transformacja, czyszczenie i mapowanie danych.
Tworzenie oraz optymalizacja zapytań SQL.
Współpraca z analitykami i zespołami biznesowymi przy projektowaniu rozwiązań.
Must have
Bardzo dobra znajomość Databricks.
Bardzo dobra znajomość PySpark.
Zaawansowana znajomość Python.
Zaawansowana znajomość SQL / PL/SQL.
Doświadczenie w projektowaniu i rozwijaniu procesów ETL.
Doświadczenie w integracji danych z wielu źródeł (API, bazy danych, batch).
Mile widziane
Doświadczenie w projektach związanych z AML lub Data Warehouse.
Znajomość architektury nowoczesnych platform danych.
Kompetencje
Umiejętność analitycznego myślenia i rozwiązywania problemów.
Umiejętność przekładania wymagań biznesowych na rozwiązania techniczne.
Dobra organizacja pracy i komunikacja.
Umiejętność pracy zespołowej.
Informacje o projekcie
Projekt: rozwój i migracja warstwy danych AML.
Lokalizacja: zdalnie