Data Engineer – Azure / Databricks / AWS
Nazwa stanowiska* Data Engineer – Azure / Databricks / AWS
Lokalizacja* [Warszawa]
Tryb pracy* [Zdalnie]
Współpraca* [B2B]
Stawka* [B2B: 150-180 zł netto/h]
O firmie/projekcie
Data Engineer będzie odpowiedzialny za projektowanie, budowę oraz rozwój nowoczesnych platform danych opartych o technologie chmurowe Microsoft Azure, AWS oraz Databricks. Rola koncentruje się na tworzeniu wydajnych procesów przetwarzania danych, wdrażaniu architektury Lakehouse oraz zapewnieniu wysokiej jakości i dostępności danych dla zespołów analitycznych, biznesowych i AI.
Kogo szukamy
Minimum 3–5 lat doświadczenia na stanowisku Data Engineer lub pokrewnym.
Bardzo dobra znajomość SQL oraz modelowania danych.
Doświadczenie w tworzeniu i utrzymaniu procesów ETL/ELT.
Praktyczna znajomość Azure Data Platform.
Doświadczenie komercyjne z Azure Databricks oraz Apache Spark (PySpark).
Bardzo dobra znajomość języka Python.
-
Doświadczenie w pracy z usługami danych AWS:
S3
Glue
Athena
Redshift
EMR
Lambda
Znajomość architektury Data Lake, Data Warehouse oraz Lakehouse.
Doświadczenie z narzędziami kontroli wersji (Git).
Znajomość zagadnień związanych z wydajnością, skalowalnością oraz bezpieczeństwem danych.
Umiejętność pracy w środowisku Agile/Scrum.
Zadania
Projektowanie, rozwój i utrzymanie procesów ETL/ELT dla danych pochodzących z różnych systemów źródłowych.
Budowa i rozwój rozwiązań Data Lake, Data Warehouse oraz Lakehouse w środowiskach Azure i AWS.
Tworzenie oraz optymalizacja pipeline’ów danych z wykorzystaniem Databricks i Apache Spark (PySpark).
Modelowanie danych oraz implementacja warstw Bronze, Silver i Gold zgodnie z architekturą Medallion.
Integracja danych z systemów ERP, CRM, aplikacji biznesowych, API oraz źródeł zewnętrznych.
-
Wykorzystanie usług chmurowych do przetwarzania i przechowywania danych:
Azure: Data Factory, Data Lake Storage Gen2, Synapse Analytics, Databricks
AWS: S3, Glue, Athena, Redshift, EMR, Lambda
Zapewnienie jakości danych poprzez wdrażanie mechanizmów walidacji, monitoringu i kontroli procesów.
Optymalizacja wydajności procesów Spark oraz kosztów przetwarzania danych w chmurze.
Automatyzacja wdrożeń i zarządzanie środowiskami z wykorzystaniem narzędzi CI/CD.
Współpraca z zespołami Data Science, BI, Analityki oraz Architektury IT.
Tworzenie dokumentacji technicznej oraz standardów przetwarzania danych.
Wsparcie inicjatyw związanych z Data Governance, Data Security oraz Data Lineage.
Wymagania
Mile widziane
Co oferujemy
Pracę na kontrakcie B2B
Prezenty na różne okazje
Wydarzenia firmowe
Dostęp do platformy szkoleniowej
Dostęp do platformy językowej