Senior Data Engineer @ DS STREAM
Summary
Build and scale a cloud-based Data Hub using Azure Databricks, PySpark, and Medallion Architecture to integrate, process, and stream large data volumes for enterprise clients.
🚀 Rozwijamy nasz zespół AI Data Engineering w DS STREAM!
Poszukujemy Senior Data Engineera, który dołączy do naszego zespołu i będzie rozwijał nowoczesne rozwiązania oparte o chmurę oraz platformy Big Data.
Praca w 100% zdalna na terenie Polski (z możliwością korzystania z biura w Warszawie).
O projekcieDołączysz do projektu rozwijającego dojrzały, wysokodostępny Data Hub zbudowany w oparciu o Azure Databricks. Środowisko wykorzystuje m.in. Unity Catalog, Spark Structured Streaming oraz Asset Bundles, zapewniając wysoką wydajność, bezpieczeństwo i skuteczne zarządzanie danymi.
Architektura rozwiązania oparta jest na modelu Medallion Architecture, który stanowi skalowalny fundament do integracji, przetwarzania i udostępniania nowych źródeł danych w istniejącym ekosystemie.
Oferujemy- pracę w 100% zdalną z możliwością korzystania z biura w Warszawie,
- elastyczne godziny pracy oraz udział w wydarzeniach integracyjnych,
- dostęp do certyfikacji Azure, Google Cloud Platform (GCP) oraz Databricks,
- możliwość rozwijania własnych pomysłów w ramach naszego wewnętrznego inkubatora projektów,
- współpracę z zespołem ponad 50 doświadczonych konsultantów Data, specjalizujących się w Data Warehouse i Big Data,
- oraz wiele innych benefitów.
Rozwijamy nasz zespół! 🚀
DS STREAM rośnie w siłę i poszukuje Senior Data Engineerów.
Szukamy osób, które posiadają przynajmniej część poniższych kompetencji:- minimum 5 lat komercyjnego doświadczenia w obszarze Data Engineering, ze szczególnym uwzględnieniem budowy i rozwoju wielkoskalowych pipeline'ów danych,
- praktyczne doświadczenie w pracy z zaawansowanymi rozwiązaniami chmurowymi Microsoft Azure oraz Databricks,
- znajomość środowiska Google Cloud Platform (GCP) oraz narzędzi takich jak Airflow, Pub/Sub, BigQuery i Vertex AI,
- doświadczenie w pracy z Spark Structured Streaming,
- bardzo dobra znajomość Pythona oraz SQL,
- doświadczenie w budowaniu i utrzymywaniu pipeline'ów z wykorzystaniem GitHub lub podobnych narzędzi.
- doświadczenie w tworzeniu integracji API klasy enterprise z wykorzystaniem FastAPI lub podobnych frameworków,
- doświadczenie w prowadzeniu zespołu, mentoringu lub wspieraniu rozwoju innych inżynierów.
🚀 Rozwijamy nasz zespół AI Data Engineering w DS STREAM!
Poszukujemy Senior Data Engineera, który dołączy do naszego zespołu i będzie rozwijał nowoczesne rozwiązania oparte o chmurę oraz platformy Big Data.
Praca w 100% zdalna na terenie Polski (z możliwością korzystania z biura w Warszawie).
O projekcieDołączysz do projektu rozwijającego dojrzały, wysokodostępny Data Hub zbudowany w oparciu o Azure Databricks. Środowisko wykorzystuje m.in. Unity Catalog, Spark Structured Streaming oraz Asset Bundles, zapewniając wysoką wydajność, bezpieczeństwo i skuteczne zarządzanie danymi.
Architektura rozwiązania oparta jest na modelu Medallion Architecture, który stanowi skalowalny fundament do integracji, przetwarzania i udostępniania nowych źródeł danych w istniejącym ekosystemie.
Oferujemy- pracę w 100% zdalną z możliwością korzystania z biura w Warszawie,
- elastyczne godziny pracy oraz udział w wydarzeniach integracyjnych,
- dostęp do certyfikacji Azure, Google Cloud Platform (GCP) oraz Databricks,
- możliwość rozwijania własnych pomysłów w ramach naszego wewnętrznego inkubatora projektów,
- współpracę z zespołem ponad 50 doświadczonych konsultantów Data, specjalizujących się w Data Warehouse i Big Data,
- oraz wiele innych benefitów.