Data Engineer w/ Databricks
Posted 1
view
Summary
The Codest is hiring an experienced Data Engineer to design, build, and manage scalable data solutions on Databricks for a banking application serving a leading Japanese financial group. Day-to-day work centers on Python/PySpark, SQL, Delta Lake, Unity Catalog, ETL/ELT pipelines, and AWS services.
DATA ENGINEER z DATABRICKS
Dołącz do The Codest i pracuj nad aplikacją bankową dla jednej z wiodących grup finansowych w Japonii. Szukamy doświadczonego Databricks Engineer do projektowania, budowania i zarządzania skalowalnymi rozwiązaniami danych.
Twoje obowiązki:
- Doświadczenie z Medallion Architecture (Bronze, Silver, Gold)
- Budowa frameworków jakości danych z automatycznym testowaniem
- Implementacja funkcji Delta Lake (time travel, vacuum, Z-ordering)
- Tworzenie i utrzymanie złożonych pipeline'ów ETL/ELT
- Projektowanie CI/CD dla pipeline'ów danych
- Optymalizacja zadań Spark
Kluczowe wymagania:
- 6+ lat doświadczenia w data engineering
- Biegłość w Python, PySpark i SQL
- Doświadczenie z AWS (Glue, Lambda, Redshift, S3)
- Doświadczenie z Unity Catalog i Delta Lake
- Komunikatywny angielski
Mile widziane:
- Certyfikat Databricks Certified Professional Data Engineer
- Doświadczenie z Docker i Kubernetes