Senior Data Engineer (Databricks | DataMarts | Cloud)
Summary
Designs and builds scalable data pipelines using Databricks, Unity Catalog, and cloud platforms (Azure/AWS/GCP) to process structured, semi-structured, and unstructured data.
Obszar: Consulting IT
Lokalizacja: 100% zdalnie
Start: ASAP (akceptujemy kandydatury z max 3msc okresem wypowiedzenia)
Stawka (ustalana indywidualnie): 190 - 200 PLN netto + VAT / h
Zaangażowanie: B2B (outsourcing z 1dea), full-time, długofalowo
Zakres obowiązków
- Projektowanie i wdrażanie skalowalnych rurociągów danych (data pipelines).
- Zarządzanie danymi z wykorzystaniem Unity Catalog.
- Optymalizacja procesów ETL oraz modelowanie struktur danych w środowiskach rozproszonych.
- Praca z różnorodnymi formatami danych (structured, semi-structured, unstructured).
- Współpraca w zwinnym środowisku (Scrum/Kanban) zgodnie z praktykami DevOps i CI/CD
Kogo poszukujemy?
- Minimum 5 lat doświadczenia w obszarze Data Engineering
- Co najmniej 4 lata pracy z platformą Databricks (w tym znajomość Unity Catalog)
- Minimum 2 lata doświadczenia w projektach typu Big Data
- Biegłości w językach Python oraz SQL
- Solidnego doświadczenia w Cloud Computing (Azure, AWS lub GCP)
- Praktycznej wiedzy z zakresu: Data Warehouse, Data Lake, Data Mesh oraz relacyjnych i nierelacyjnych baz danych
- Znajomości zasad inżynierii oprogramowania i rozproszonego przetwarzania danych
- Bardzo dobrej znajomości języka angielskiego (w mowie i piśmie)
- Analitycznego podejścia do rozwiązywania problemów w dużej skali
Mile widziane:
- Doświadczenie w pracy z metodykami Agile.
- Znajomość narzędzi CI/CD i automatyzacji procesów wdrożeniowych