Senior Data Engineer
Summary
Senior Data Engineer designing, building, and optimizing scalable data pipelines in Databricks with Python and PySpark, integrating data from various sources, maintaining the analytics layer, and delivering data products with business and technical teams. Fully remote role at 160 PLN/h net B2B.
Model pracy: zdalnie
Stawka: 160 pln/h netto +VAT B2B
Wprowadzenie
Szukamy Senior Data Engineera z platformowym podejściem, który zaprojektuje i rozwinie skalowalne pipeline'y w Databricks z użyciem Pythona i PySpark. Ta rola łączy pracę nad przepływami danych z odpowiedzialnością za jakość, wydajność i skalowalność całego rozwiązania. Będziesz współpracować z biznesem i zespołami technicznymi przy dostarczaniu data products.
Responsibilities
Projektowanie, rozwój i optymalizacja skalowalnych pipeline'ów danych w Databricks
Integracja i transformacja danych z różnych źródeł
Rozwój i utrzymanie warstwy analitycznej oraz powiązanego ekosystemu
Współpraca z biznesem i zespołami technicznymi przy dostarczaniu data products
Dbanie o modularność, reużywalność, wydajność i jakość rozwiązań
Branie odpowiedzialności za jakość i skalowalność dostarczanych rozwiązań
Key Requirements
Minimum 3 lata doświadczenia w software lub data engineering
Praktyczna znajomość Pythona
Doświadczenie z Databricks i PySpark
Umiejętność projektowania skalowalnych i modułowych rozwiązań danych
Bardzo dobra znajomość języka angielskiego
Mile widziane doświadczenie na poziomie senior lub tech lead
Będzie dodatkowym atutem
Doświadczenie z Azure
Znajomość Medallion Architecture
Terraform i podejście Infrastructure as Code (IaC)
Doświadczenie z MLOps
Znajomość Kubernetes