Senior Data Engineer (Databricks / PySpark / AML)
Summary
Senior Data Engineer building and migrating a banking AML data layer using Databricks and PySpark. Day to day: designing and optimizing ETL processes, integrating data from APIs, databases and batch files, transforming and cleaning data, writing SQL, and collaborating with business analysts. Remote B2B role in Poland, up to 155 PLN/h net.
Stawka: do 155 pln/h netto + VAT, B2B
Praca zdalna
Branża: banking (projekt AML)
Podsumowanie: Szukamy Data Engineera do rozwoju i migracji warstwy danych w obszarze AML. Kluczowym elementem roli jest budowa i rozwój rozwiązań opartych o Databricks i PySpark, integrujących dane z wielu źródeł oraz rozwój procesów ETL.
Zakres obowiązków
Rozwój i utrzymanie rozwiązań w Databricks z wykorzystaniem PySpark.
Projektowanie, rozwój i optymalizacja procesów ETL.
Integracja danych z różnych źródeł (API, bazy danych, pliki, batch).
Migracja istniejących procesów ETL do nowej architektury danych.
Transformacja, czyszczenie i mapowanie danych.
Tworzenie oraz optymalizacja zapytań SQL.
Współpraca z analitykami i zespołami biznesowymi przy projektowaniu rozwiązań.
Wymagania
Must have
Bardzo dobra znajomość Databricks.
Bardzo dobra znajomość PySpark.
Zaawansowana znajomość Python.
Zaawansowana znajomość SQL / PL/SQL.
Doświadczenie w projektowaniu i rozwijaniu procesów ETL.
Doświadczenie w integracji danych z wielu źródeł (API, bazy danych, batch).
Mile widziane
Doświadczenie w projektach związanych z AML lub Data Warehouse.
Znajomość architektury nowoczesnych platform danych.
Informacje o projekcie
Projekt: rozwój i migracja warstwy danych AML.