Data Engineer @ Connectis_
Summary
Data Engineer building and scaling an IoT data platform for Connectis_' client, a leader in the insurance industry, turning device and sensor data into business insights. Day to day: ETL/ELT pipelines with Spark and Python on AWS, Data Lakehouse development, workflow orchestration with Step Functions, and preparing data for SageMaker ML solutions.
Razem z naszym Klientem, jednym z liderów w branży ubezpieczeniowej, poszukujemy doświadczonej osoby do realizacji projektu jako Data Engineer.
Projekt dotyczy budowy i skalowania platformy danych IoT w sektorze ubezpieczeniowym, która umożliwia przekształcanie danych z urządzeń i sensorów w insighty biznesowe.
OFERUJEMY:
- Nowy sposób na aplikowanie z AI Rekruterem (AIR) – w trakcie procesu możesz porozmawiać z wirtualnym rekruterem 24/7, bez czekania na telefon. Finalną decyzję zawsze podejmuje Opiekun Projektu.
- Uczestnictwo w wydarzeniach branżowych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.
- Współpracę w modelu projektowym, z rozliczeniem opartym na etapach i protokołach odbioru poszczególnych deliverables.
- Wsparcie po stronie Connectis w sprawach administracyjnych i rozliczeniowych związanych ze współpracą.
- Otwartość na okazjonalne spotkania koordynacyjne w Warszawie (orientacyjnie raz na kwartał).
- 5 000 PLN za polecenie znajomych do naszych projektów.
- Elastyczną formę współpracy B2B.
- Szybki i zdalny proces.
Dziękujemy za wszystkie zgłoszenia. Informujemy, że skontaktujemy się wyłącznie z wybranymi osobami.
13400/RJ
- Minimum 4 letnie doświadczenie komercyjne w roli Data Engineer lub podobnej.
- Doświadczenie komercyjne w pracy w środowisku AWS oraz technologiami Spark, Python i SQL.
- Praktyczna znajomość architektury Data Mesh oraz rozwiązań do przetwarzania dużych zbiorów danych.
- Doświadczenie w budowie skalowalnych i wysokowydajnych rozwiązań data engineeringowych w środowisku cloud-native.
- Praktyczna znajomość Amazon SageMaker oraz zdolność przygotowywania środowisk i danych pod rozwiązania AI/ML.
- Doświadczenie z narzędziami orkiestracji i automatyzacji procesów, w szczególności AWS Step Functions.
- Znajomość AWS Glue, w tym tworzenia i utrzymania Glue Jobs oraz zarządzania danymi w Glue Catalog.
- Doświadczenie z Terraform w zakresie automatyzacji i zarządzania infrastrukturą jako kodem (IaC).
- Doświadczenie w pracy z chmurą Azure oraz narzędziem Azure DevOps.
- znajomość narzędzi oraz rozwiązań AI/ML.
Mile widziane:
Razem z naszym Klientem, jednym z liderów w branży ubezpieczeniowej, poszukujemy doświadczonej osoby do realizacji projektu jako Data Engineer.
Projekt dotyczy budowy i skalowania platformy danych IoT w sektorze ubezpieczeniowym, która umożliwia przekształcanie danych z urządzeń i sensorów w insighty biznesowe.
OFERUJEMY:
- Nowy sposób na aplikowanie z AI Rekruterem (AIR) – w trakcie procesu możesz porozmawiać z wirtualnym rekruterem 24/7, bez czekania na telefon. Finalną decyzję zawsze podejmuje Opiekun Projektu.
- Uczestnictwo w wydarzeniach branżowych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.
- Współpracę w modelu projektowym, z rozliczeniem opartym na etapach i protokołach odbioru poszczególnych deliverables.
- Wsparcie po stronie Connectis w sprawach administracyjnych i rozliczeniowych związanych ze współpracą.
- Otwartość na okazjonalne spotkania koordynacyjne w Warszawie (orientacyjnie raz na kwartał).
- 5 000 PLN za polecenie znajomych do naszych projektów.
- Elastyczną formę współpracy B2B.
- Szybki i zdalny proces.
Dziękujemy za wszystkie zgłoszenia. Informujemy, że skontaktujemy się wyłącznie z wybranymi osobami.
13400/RJ
,(Projektowanie rozwój oraz utrzymanie wydajnych pipeline’ów danych (ETL/ELT) z wykorzystaniem Spark, Python oraz usług AWS., Budowa i rozwój nowoczesnej platformy danych typu Data Lakehouse wspierającej wiele produktów i obszarów biznesowych., Implementacja i rozwój orkiestracji workflow oraz automatyzacji procesów CI/CD z wykorzystaniem AWS Step Functions., Współpraca z zespołami ML w zakresie przygotowania i dostarczania danych pod rozwiązania oparte o SageMaker., Integracja oraz przetwarzanie danych z różnych źródeł zewnętrznych, m.in. IoT, OEM oraz systemów partnerskich., Optymalizacja wydajności przetwarzania danych oraz kosztów infrastruktury w środowisku chmurowym., Zapewnienie jakości danych poprzez walidację, monitoring i observability.) Requirements: AWS, Spark, Python, SQL, Data Mesh, Step Functions, AWS Glue Jobs, AWS Glue Catalog, Azure, Azure DevOps, Terraform, AI/ML Additionally: Sport subscription, International projects, Private healthcare.