Senior Data Engineer Team Lead
Description
Hays Contracting Services to współpraca oparta na zasadach B2B. Obecnie poszukujemy specjalisty do realizacji usług w obszarze:
Senior Data Engineer & Team Lead | Databricks Specialist
Miejsce świadczenia usług: 100% remote
Kontrakt B2B
Stawka: 200 - 240 PLN netto/h
Do międzynarodowego projektu związanego z transformacją środowiska technologicznego i rozwojem nowoczesnej platformy danych poszukujemy doświadczonego Senior Data Engineera, który będzie pełnić funkcję eksperta Databricks oraz technicznego lidera projektu.
Projekt koncentruje się na projektowaniu i dostarczaniu kompleksowych rozwiązań data engineeringowych opartych na Azure Databricks.
Osoba realizująca usługi będzie odpowiedzialna za cały cykl rozwoju rozwiązania, od analizy zakresu i projektowania architektury, przez implementację i testowanie, aż po wdrożenie, wsparcie oraz utrzymanie produkcyjne.
Projekt jest realizowany w środowisku Agile/Scrum, przy współdziałaniu z Business Analystami, interesariuszami biznesowymi, QA oraz Scrum Masterem.
Zakres usług:
- kompleksowe prowadzenie realizacji rozwiązań data engineeringowych, od analizy zakresu i projektowania, przez budowę i testowanie, aż po wdrożenie, wsparcie oraz utrzymanie produkcyjne,
- projektowanie i rozwijanie skalowalnych pipeline’ów oraz workflowów w Azure Databricks z wykorzystaniem Jobs, Workflows, Notebooks i Spark Declarative Pipelines,
- implementacja mechanizmów CDF/CDC oraz rozwijanie rozwiązań opartych na Delta Lake i architekturze Lakehouse,
- projektowanie warstw danych zgodnie z architekturą Medallion: Bronze, Silver i Gold,
- projektowanie i zarządzanie zasobami Unity Catalog, w tym uprawnieniami, kontrolą dostępu oraz politykami governance,
- automatyzacja procesu wdrażania rozwiązań przy wykorzystaniu Declarative Automation Bundles,
- rozwijanie i utrzymywanie procesów CI/CD z wykorzystaniem GitHub Actions lub Azure DevOps,
- wykorzystywanie Infrastructure as Code z użyciem Pulumi lub Terraform,
- współdziałanie z Business Analystami, interesariuszami biznesowymi, QA oraz Scrum Masterem w celu przekładania wymagań na rozwiązania techniczne,
- definiowanie kryteriów akceptacji, estymacja zadań oraz realizacja user stories w ramach sprintów,
- definiowanie i egzekwowanie standardów inżynieryjnych dotyczących jakości kodu, testowania i dokumentacji,
- rozwijanie bibliotek komponentów wielokrotnego użytku,
- code review oraz dbanie o zgodność rozwiązań ze standardami technicznymi i architektonicznymi,
- mentoring oraz rozwijanie kompetencji pozostałych osób zaangażowanych w projekt,
- wspieranie komunikacji, prowadzenie regularnych check-inów oraz dbanie o spójność działań projektowych,
- udział w sprint planningu, backlog groomingu, estymacjach i retrospektywach.
Wymagane kompetencje:
- doświadczenie w projektowaniu i rozwijaniu kompleksowych rozwiązań data engineeringowych,
- minimum 2 lata doświadczenia w prowadzeniu technicznym innych osób lub projektów,
- bardzo dobra, praktyczna znajomość Azure Databricks,
- doświadczenie z Databricks Jobs, Workflows, Notebooks i Spark Declarative Pipelines,
- znajomość Unity Catalog, w tym zarządzania uprawnieniami, kontrolą dostępu i data governance,
- praktyczne doświadczenie z CDF/CDC,
- bardzo dobra znajomość PySpark oraz Python,
- doświadczenie z Delta Lake, architekturą Lakehouse oraz Medallion Architecture,
- praktyczna znajomość Azure, w szczególności ADLS Gen2, Azure SQL, Azure Key Vault oraz Entra ID,
- doświadczenie w budowaniu i utrzymywaniu procesów CI/CD przy wykorzystaniu GitHub Actions lub Azure DevOps,
- znajomość GitHub lub Azure Repos,
- doświadczenie z Declarative Automation Bundles,
- praktyczna znajomość Infrastructure as Code z wykorzystaniem Pulumi lub Terraform,
- doświadczenie w definiowaniu standardów technicznych, prowadzeniu code review i dbaniu o jakość rozwiązań,
- doświadczenie w mentoringu i rozwijaniu kompetencji innych osób,
- umiejętność współdziałania z interesariuszami technicznymi i biznesowymi,
- doświadczenie w realizacji projektów zgodnie z metodyką Agile/Scrum,
- znajomość języka angielskiego umożliwiająca swobodną komunikację w międzynarodowym środowisku.
Mile widziane:
- doświadczenie z AI/LLM APIs,
- znajomość MCP servers i agentic AI workflows,
- doświadczenie z Kafka lub Azure Event Hubs,
- znajomość Power BI,
- doświadczenie z MongoDB,
- znajomość Azure Logic Apps lub Power Automate.
Proces współpracy
- Analiza doświadczenia i profilu przez zespół Hays
- Rozmowa z konsultantem Hays na temat projektu i zakresu usług
- Spotkanie z przedstawicielami Klienta, maksymalnie 2 etapy
- Ustalenie warunków współpracy
- Rozpoczęcie świadczenia usług
Współpraca realizowana jest pomiędzy przedsiębiorcami, w modelu B2B, i obejmuje wykonywanie świadczeń objętych uzgodnionym zakresem projektowym. Kontraktor samodzielnie organizuje sposób realizacji usług, z uwzględnieniem wymogów projektu, bezpieczeństwa i koniecznej komunikacji z klientem. Informacje o lokalizacji, dostępności lub spotkaniach projektowych mają charakter organizacyjny i nie oznaczają podporządkowania pracowniczego ani wykonywania pracy pod kierownictwem klienta
Skills
- Agentic AI
- Agile
- AI
- API
- Automation
- Azure
- Azure DevOps
- Azure Logic Apps
- CI/CD
- Data Governance
- Databricks
- Delta Lake
- DevOps
- Entra ID
- GitHub
- GitHub Actions
- Infrastructure as Code
- Jest
- Kafka
- Lakehouse
- LLM
- MCP
- Medallion Architecture
- MongoDB
- Power Automate
- Power BI
- Pulumi
- PySpark
- Python
- Scrum
- Spark
- SQL
- Terraform
- Unity
- Unity Catalog
- User Stories
- Vault
Sign in to read and join the discussion.