Senior Data Engineer

Informacje o projekcie:

• Branża: ubezpieczenia/IT

• Lokalizacja: zdalnie

• Stawka: 155-175 zł/h netto + VAT, B2B

• Projekt długoterminowy

Zakres obowiązków:

• Definiowanie i wdrażanie architektury Data Hubów.

• Projektowanie skalowalnych modeli danych integrujących wiele źródeł danych.

• Przygotowywanie wzorców, blueprintów i standardów architektonicznych.

• Współpraca z Solution Architectem przy projektowaniu docelowej architektury platformy.

• Aktywne programowanie w Pythonie (około 50% czasu pracy).

• Tworzenie i rozwój procesów ETL/ELT.

• Projektowanie rozwiązań opartych o Databricks i Apache Spark.

• Wdrażanie oraz rozwój procesów batchowych i streamingowych.

• Budowa i rozwój Data Hubów opartych o Lakehouse.

• Definiowanie standardów Data Governance.

• Projektowanie polityk dostępu do danych.

• Współpraca z zespołami technicznymi i biznesowymi.

Wymagania:

Minimum 5-letnie doświadczenie jako Data Engineer.

Minimum 2-letnie doświadczenie w obszarze architektury danych.

Technologie i architektura

• Microsoft Azure

• Azure Databricks

• Apache Spark

• Delta Lake

• Python

• Azure DevOps

• Doświadczenie w projektowaniu rozwiązań Data Platform / Data Hub

• Znajomość architektury Lakehouse

• Umiejętność projektowania architektury danych oraz standardów Data Engineering

Azure Data Stack

• Azure Data Factory

• Azure Data Lake Storage (ADLS)

• Azure Synapse

• Azure SQL

• Event Hubs

Data Modeling

• Modelowanie dimensionalne

• Modelowanie relacyjne

• Modelowanie NoSQL

Data Governance & Security

• Tworzenie polityk dostępu do danych

• Data Governance

• Data Lineage

• Compliance

• Zarządzanie bezpieczeństwem danych

Orchestration & Processing

• Narzędzia orkiestracyjne wykorzystywane w procesach Data Engineering

• Doświadczenie z rozwiązaniami batch i real-time

Mile widziane:

• Power BI

• Doświadczenie w branży ubezpieczeniowej

• Certyfikaty związane z Azure lub Data Engineering

• Język niemiecki

• Terraform

• Docker

• Kubernetes / AKS

• CI/CD

• Monitoring jakości danych i wykrywanie anomalii

• Tworzenie dokumentacji architektonicznej