Senior Data Engineer (Databricks & PySpark)
Summary
Senior Data Engineer on a Sustainability Data & AI team, building and maintaining a sustainability data foundation on Databricks — designing data products, data models and PySpark transformation pipelines fed by ERP, procurement and external sources, with performance/cost optimization, data quality control and ESG regulatory reporting support.
Senior Data Engineer w zespole Sustainability Data & AI — budowa i utrzymanie Sustainability Data Foundation na Databricks, z pipeline'ami przetwarzającymi dane z ERP, procurement i źródeł zewnętrznych. Realnie: projektowanie data produktów, modeli danych, frameworków transformacji, optymalizacja wydajności i kosztów, kontrola jakości danych oraz wsparcie raportowania regulacyjnego ESG. Uwaga: 'ability to balance engineering excellence with pragmatic delivery' może sugerować presję na dostarczanie kosztem jakości, a ogłoszenie jest urwane w połowie zdania — co świadczy o niedbałości w publikacji. Dla kogoś, kto lubi samodzielnie prowadzić rozwiązania od projektu po produkcję.
- 5+ lat doświadczenia w projektowaniu, rozwijaniu i utrzymaniu platform i pipeline'ów danych
- Rozległe praktyczne doświadczenie z Databricks w środowiskach produkcyjnych
- Ekspercki poziom PySpark, modelowania danych i projektowania pipeline'ów
- Doświadczenie w implementacji CI/CD dla workloadów data engineeringowych
- Doświadczenie w automated testing, deployment pipelines i release management
- Znajomość data lineage, metadata management, data governance i audytu