Senior Data Engineer - K/M @ ASTEK Polska
Posted 8
views
Summary
Senior Data Engineer (7+ yrs) who independently designs and implements scalable data engineering solutions and supports data platform modernization, including Unity Catalog migrations and real-time streaming with Databricks, PySpark, Delta Lake and FastAPI. Hybrid role (3 days/week from the Kraków office) on a B2B contract.
Praca w modelu hybrydowym: 3 dni w tygodniu z biura w Krakowie. Współpraca w modelu B2B. Poszukujemy osoby z minimum 7-letnim doświadczeniem, która samodzielnie projektuje i wdraża skalowalne rozwiązania Data Engineering oraz wspiera inicjatywy związane z modernizacją platform danych.
- Posiadasz minimum 7 lat doświadczenia w obszarze Data Engineering oraz programowaniu w Pythonie.
- Masz praktyczne doświadczenie w tworzeniu i rozwijaniu API z wykorzystaniem FastAPI.
- Bardzo dobrze znasz Databricks, PySpark, SQL oraz Delta Lake.
- Posiadasz doświadczenie w migracjach do Unity Catalog.
- Pracowałeś/-aś z Databricks Structured Streaming oraz rozwiązaniami do przetwarzania danych w czasie rzeczywistym.
- Masz doświadczenie w pracy z bazami Oracle i SQL Server oraz narzędziem Informatica.
- Potrafisz samodzielnie projektować i wdrażać skalowalne rozwiązania data engineeringowe.
- Znasz specyfikę sektora Banking, Financial Services & Insurance (BFSI).
Mile widziane:- Doświadczenie w pracy z chmurą Azure oraz administracją Databricks.
- Znajomość narzędzi i procesów CI/CD.
- Doświadczenie z Git, Azure DevOps lub GitLab.
- Umiejętność tuningu wydajności i optymalizacji rozwiązań Spark.
- Doświadczenie w prowadzeniu działań technicznych oraz współpracy z interesariuszami.
- Certyfikaty Databricks.