Data Engineer - Fabric [M/F] @ Arche Solutions
Summary
Builds and maintains scalable data pipelines and ETL/ELT processes on Microsoft Azure — using Microsoft Fabric, Azure Databricks, Azure Data Factory, Python, and SQL — including data modelling, CI/CD via Azure DevOps, and Infrastructure as Code. On-site role in Łódź, Poland.
Celem projektu jest budowa i rozwój nowoczesnej, skalowalnej platformy danych w ekosystemie Microsoft Azure, umożliwiającej efektywną integrację, transformację i przetwarzanie rosnących ilości danych.
Projekt koncentruje się na automatyzacji procesów data engineeringowych, zapewnieniu wysokiej jakości i dostępności danych oraz budowie niezawodnych i wydajnych pipeline’ów danych z wykorzystaniem Microsoft Fabric, Azure Databricks, Azure Data Factory, Python i SQL.
- Doświadczenie zawodowe na stanowisku Data Engineer lub w podobnej roli.
- Bardzo dobra znajomość SQL.
- Praktyczna znajomość Python w obszarze przetwarzania i integracji danych.
- Doświadczenie z Azure Databricks.
- Praktyczna znajomość Microsoft Fabric.
- Doświadczenie z Azure Data Factory.
- Znajomość Azure Functions.
- Doświadczenie z Azure DevOps, w szczególności w zakresie CI/CD.
- Dobra znajomość zagadnień związanych z Data Modelling.
- Znajomość koncepcji i praktyczne doświadczenie z Infrastructure as Code.
- Doświadczenie w projektowaniu, optymalizacji i monitorowaniu pipeline’ów danych.
Celem projektu jest budowa i rozwój nowoczesnej, skalowalnej platformy danych w ekosystemie Microsoft Azure, umożliwiającej efektywną integrację, transformację i przetwarzanie rosnących ilości danych.
Projekt koncentruje się na automatyzacji procesów data engineeringowych, zapewnieniu wysokiej jakości i dostępności danych oraz budowie niezawodnych i wydajnych pipeline’ów danych z wykorzystaniem Microsoft Fabric, Azure Databricks, Azure Data Factory, Python i SQL.
,(Projektowanie, rozwój i utrzymanie skalowalnych pipeline’ów danych oraz procesów integracyjnych., Implementacja procesów ETL/ELT z wykorzystaniem Microsoft Fabric, Azure Databricks, Python i SQL., Praca nad złożonymi scenariuszami ekstrakcji, transformacji i ładowania danych., Integracja danych z różnych źródeł oraz zapewnienie ich jakości, spójności i dostępności., Projektowanie i rozwój modeli danych., Współpraca ze stakeholderami oraz zespołami Agile w celu analizy i realizacji wymagań dotyczących danych., Monitorowanie wydajności procesów i infrastruktury oraz identyfikowanie i eliminowanie wąskich gardeł., Implementacja mechanizmów zapewniających data quality, accuracy i reliability., Automatyzacja procesów związanych z przetwarzaniem i integracją danych., Rozwój i utrzymanie procesów CI/CD w Azure DevOps., Wykorzystywanie podejścia Infrastructure as Code., Tworzenie i utrzymywanie dokumentacji technicznej.) Requirements: Microsoft Fabric, Azure Data Factory, Python, SQL