BI Data Engineer – ETL / Data Warehouse / Lakehouse @ Upvanta
Posted 4
views
Summary
BI Data Engineer hired via Upvanta for one of its clients: designs and builds ETL/ELT pipelines, enterprise data warehouses and Data Lakehouse architecture, and develops BI reporting, semantic layers, data quality, lineage, and GDPR-compliant access and security.
Dla jednego z naszych klientów szukamy BI Data Engineera, który będzie odpowiedzialny za projektowanie i rozwój procesów ETL/ELT, hurtowni danych, architektury Data Lakehouse oraz rozwiązań BI. To rola łącząca Data Engineering, Business Intelligence, Data Warehousing i Data Governance. Będziesz pracować zarówno nad warstwą danych i pipeline'ami, jak i nad rozwiązaniami raportowymi oraz jakością, lineage i bezpieczeństwem danych.Data Governance & Security - W ramach roli będziesz również odpowiedzialny/a za:
- zarządzanie warstwą semantyczną BI – KPIs, metrics catalog, naming conventions, row-level security,
- zarządzanie dostępami oraz bezpieczeństwem danych zgodnie z GDPR i wewnętrznymi politykami ochrony danych,
- egzekwowanie zasad data lineage i data stewardship,
- utrzymywanie dokumentacji technicznej, m.in. data dictionaries, lineage, design specifications i runbooks.
- Wykształcenie:
- Master's degree + min. 5 lat doświadczenia zawodowego, lub
- Bachelor's degree + min. 7 lat doświadczenia, lub
- wykształcenie średnie + min. 12 lat doświadczenia.
- Praktyczne doświadczenie w projektowaniu i implementacji procesów ETL/ELT.
- Doświadczenie w dimensional modelling i projektowaniu hurtowni danych.
- Doświadczenie z architekturą Data Lakehouse.
- Doświadczenie w obszarze data governance i data lineage.
- Znajomość wymagań GDPR w kontekście platform danych i raportowania.
- Bardzo dobra znajomość języka angielskiego – min. B2.
- Umiejętność pracy zarówno z zespołami technicznymi, jak i interesariuszami biznesowymi.
- Analityczne, uporządkowane i szczegółowe podejście do pracy.
- Microsoft Data Analyst Associate
- Azure Data Engineer Associate
- Amazon Certified Data Analytics – Specialty
- zarządzanie warstwą semantyczną BI – KPIs, metrics catalog, naming conventions, row-level security,
- zarządzanie dostępami oraz bezpieczeństwem danych zgodnie z GDPR i wewnętrznymi politykami ochrony danych,
- egzekwowanie zasad data lineage i data stewardship,
- utrzymywanie dokumentacji technicznej, m.in. data dictionaries, lineage, design specifications i runbooks.
,(zarządzanie warstwą semantyczną BI – KPIs, metrics catalog, naming conventions, row-level security,, zarządzanie dostępami oraz bezpieczeństwem danych zgodnie z GDPR i wewnętrznymi politykami ochrony danych,, egzekwowanie zasad data lineage i data stewardship,, utrzymywanie dokumentacji technicznej, m.in. data dictionaries, lineage, design specifications i runbooks., Projektowanie i implementacja end-to-end procesów ETL/ELT oraz workflowów orkiestracji., Implementacja data contracts oraz zarządzanie ewolucją schematów danych., Projektowanie i utrzymanie Enterprise Data Warehouses, Data Lakes i Data Lakehouses., Budowanie i rozwój rozwiązań Business Intelligence., Implementacja mechanizmów data quality oraz monitorowania kondycji danych., Praca z data observability, w tym data lineage i freshness, oraz definiowanie i monitorowanie SLA/SLO., Optymalizacja kosztów i wydajności platform BI oraz hurtowni danych poprzez m.in.: partitioning, caching, clustering, query optimisation, resource scaling., Zbieranie i analiza wymagań biznesowych dotyczących pipeline'ów, storage'u i raportowania., Wspieranie self-service BI poprzez przygotowywanie curated datasets, certified reports oraz wsparcie i szkolenia użytkowników., Projektowanie nowoczesnych architektur BI dla środowisk cloud, on-premises i hybrid., Implementacja warstw data virtualisation, zapewniających zunifikowany dostęp do heterogenicznych źródeł danych., Projektowanie i rozwój aplikacji raportowych i analitycznych – dashboardów, KPI oraz narzędzi self-service BI., Projektowanie modeli danych, w tym dimensional models, zgodnie z wymaganiami biznesowymi., Projektowanie i optymalizacja fizycznych schematów baz danych poprzez indexing, partitioning i odpowiednie strategie storage., Analiza wydajności, query tuning i optymalizacja zasobów, zgodnie z kierunkiem wyznaczonym przez Technical/Solution Architect., Projektowanie i realizacja testów dla rozwiązań BI, w tym: data validation, regression testing, contract testing, automated pipelines) Requirements: Degree, ETL, Data Lake, GDPR, Data analytics