Senior Data Engineer
Posted
Summary
Senior Data Engineer building data platforms and warehouses for banking-sector clients. Day to day: designing data lakehouse architectures, creating and optimizing ETL/ELT pipelines, processing large datasets with Spark and Kafka, and translating business questions into analytical models.
Budujesz platformy danych dla klientów z sektora bankowego. Projektujesz hurtownie i rozwiązania w architekturze data lakehouse. Pilnujesz procesów ETL oraz ELT i przetwarzasz duże zbiory danych w Sparku i Kafce. Rozmawiasz z biznesem o tym, jakie pytania chce zadać danym, i przekładasz to na model.
Twój zakres obowiązków
- Projektowanie i rozwój hurtowni oraz platform danych.
- Tworzenie i optymalizacja procesów ETL oraz ELT.
- Budowa rozwiązań w architekturze data lakehouse.
- Przetwarzanie dużych zbiorów danych w Sparku i Kafce.
- Przekładanie wymagań biznesowych na rozwiązania analityczne.
- Projektowanie architektury danych dla nowych projektów.
Czego oczekujemy
- Minimum 5 lat komercyjnego doświadczenia na stanowisku data engineera.
- Biegłej znajomości SQL i umiejętności optymalizacji zapytań.
- Praktycznej wiedzy z budowy i utrzymania hurtowni danych.
- Doświadczenia ze Sparkiem i Kafką w środowisku produkcyjnym.
- Rozumienia koncepcji data lakehouse oraz procesów ETL.
- Pełnej samodzielności w realizacji zadań technicznych.