Fabric Data Engineer Senior

Wymagania

• Praktyczna znajomość ekosystemu Microsoft Fabric (OneLake, Lakehouse, Data Warehouse, Data Factory).
• Bardzo dobra znajomość PySpark (Python) oraz T-SQL.
• Doświadczenie z architekturą Medallion oraz projektowaniem schematu gwiazdy (Star Schema).
• Praktyczna znajomość formatu Delta Lake i technik jego optymalizacji (V-Order, Compaction).
• Rozumienie, jak struktura danych w warstwie Gold wpływa na wydajność Direct Lake.
• Język angielski B2/C1.

Zadania

• Projektowanie, rozwój i utrzymanie rozwiązań danych w środowisku Microsoft Fabric.
• Budowa oraz zarządzanie architekturą danych z wykorzystaniem komponentów OneLake, Lakehouse, Data Warehouse oraz Data Factory.
• Tworzenie i rozwój procesów ETL/ELT z wykorzystaniem PySpark (Python) oraz T-SQL.
• Implementacja architektury Medallion (Bronze, Silver, Gold) zgodnie z najlepszymi praktykami projektowania platform danych.
• Projektowanie i rozwój modeli analitycznych opartych na schemacie gwiazdy (Star Schema) na potrzeby raportowania i analiz biznesowych.
• Przetwarzanie oraz optymalizacja danych zapisanych w formacie Delta Lake, w tym wykorzystanie mechanizmów V-Order, Compaction oraz innych technik poprawy wydajności.
• Projektowanie warstwy Gold z uwzględnieniem wymagań wydajnościowych dla Power BI Direct Lake.
• Monitorowanie, optymalizacja i tuning procesów przetwarzania danych oraz wydajności zapytań.
• Zapewnienie wysokiej jakości danych poprzez walidację, monitorowanie i wdrażanie dobrych praktyk Data Engineering.
• Współpraca z analitykami danych, zespołami BI oraz architektami przy projektowaniu i wdrażaniu rozwiązań analitycznych.
• Tworzenie dokumentacji technicznej dotyczącej procesów przetwarzania danych, modeli danych oraz architektury rozwiązania.
• Udział w projektowaniu standardów i dobrych praktyk związanych z platformą Microsoft Fabric oraz rozwojem nowoczesnych rozwiązań Data & Analytics.