Azure Data Engineer
Description
Opis firmy
Naszą misją jako firmy świadczącej usługi IT jest dostarczanie najlepszych rozwiązań naszym klientom na całym świecie. Osiągamy to poprzez analizowanie potrzeb naszych klientów i dopasowywanie ich do umiejętności i aspiracji naszych pracowników. Dlatego jedną z naszych głównych motywacji jest zapewnienie każdemu Pracownikowi i Konsultantowi satysfakcjonującego doświadczenia. Dołączenie do nas oznacza bycie częścią społeczności o różnorodnych osobowościach. Rozpocznij swoją przygodę z act digital!
Opis projektu
Poszukujemy Data Engineera, który będzie odpowiedzialny za projektowanie, rozwój i utrzymanie rozwiązań do przetwarzania danych w środowisku Azure.
Zadania
- Projektowanie i wdrażanie skalowalnych rozwiązań do przetwarzania, transformacji i oczyszczania danych ustrukturyzowanych oraz nieustrukturyzowanych.
- Tworzenie i utrzymywanie pipeline’ów danych integrujących informacje z baz danych, API oraz platform przetwarzania strumieniowego.
- Rozwój procesów ETL/ELT z wykorzystaniem Azure Data Factory i Databricks.
- Współpraca z inżynierami danych, specjalistami Data Science oraz architektami chmurowymi.
- Współpraca z analitykami biznesowymi, ekspertami systemów źródłowych, architektami danych, inżynierami i Product Ownerami na kluczowych etapach projektu.
- Wdrażanie dobrych praktyk CI/CD i DevOps w procesach przetwarzania danych.
- Integracja platformy danych z narzędziami analitycznymi, takimi jak Power BI.
Wymagania
- Praktyczne doświadczenie w rozwiązaniach opartych na architekturze Data Lake.
- Doświadczenie w przetwarzaniu i przepływie danych z wykorzystaniem Databricks oraz Azure Data Factory.
- Doświadczenie w projektowaniu i wdrażaniu rozwiązań w chmurze Azure.
- Biegła znajomość SQL i PySpark.
- Umiejętność modelowania danych oraz projektowania procesów ETL/ELT.
- Doświadczenie w programowaniu w Pythonie lub podobnym języku skryptowym, wykorzystywanym do transformacji danych, orkiestracji i automatyzacji.
- Praktyczna wiedza z zakresu zaawansowanych funkcjonalności Databricks, w tym Unity Catalog, MLflow, Jobs i Pipelines.
- Rozumienie architektury danych w chmurze, w szczególności Data Lakehouse, Medallion Architecture, integracji API i architektury event-driven.
- Doświadczenie w stosowaniu CI/CD i DevOps, w tym Git oraz Azure DevOps.
- Umiejętność współpracy w zespołach interdyscyplinarnych.
- Język angielski na poziomie minimum B2.
Mile widziane
- Doświadczenie w pracy z chmurami AWS lub GCP.
- Praktyka w integracji platform danych z narzędziami analitycznymi, np. Power BI.
Dodatkowe informacje
- Kontrakt: B2B
- Stawka: do 140 PLN/h net + vat
Oferujemy
- Dostęp do lokalnych i międzynarodowych projektów - Klienci z Francji, Niemiec, Portugalii, Wielkiej Brytanii i krajów Beneluksu.
- Wsparcie w rozwoju zawodowym - szkolenia, certyfikaty techniczne, udział w konferencjach, lektoraty języków obcych i szkolenia miękkie dofinansowane do 2 000zł.
- Elastyczność - sam wybierasz formę współpracy: umowa o pracę lub umowa business-to-business.
- Premia za polecanie Kandydatów do 6 000zł.
- W pełni opłacona karta Medicover.
- Karta Multisport.
- Regularne imprezy integracyjne i upominki.
- Program Mobilny.
- Długoterminową współpracę.
Skills
Sign in to read and join the discussion.