Data Engineer @ Connectis_
Summary
Connectis is hiring a Data Engineer to build and scale an IoT data platform for a leading insurance-sector client in Poland. Day-to-day work centers on ETL/ELT pipelines and a Data Lakehouse using AWS services — Spark, Python, SQL, Glue, Step Functions, SageMaker — with occasional quarterly coordination meetings in Warsaw and B2B cooperation.
Razem z naszym Klientem, jednym z liderów w branży ubezpieczeniowej, poszukujemy doświadczonej osoby do realizacji projektu jako Data Engineer.
Projekt dotyczy budowy i skalowania platformy danych IoT w sektorze ubezpieczeniowym, która umożliwia przekształcanie danych z urządzeń i sensorów w insighty biznesowe.
- Minimum 4 letnie doświadczenie komercyjne w roli Data Engineer lub podobnej.
- Doświadczenie komercyjne w pracy w środowisku AWS oraz technologiami Spark, Python i SQL.
- Praktyczna znajomość architektury Data Mesh oraz rozwiązań do przetwarzania dużych zbiorów danych.
- Doświadczenie w budowie skalowalnych i wysokowydajnych rozwiązań data engineeringowych w środowisku cloud-native.
- Praktyczna znajomość Amazon SageMaker oraz zdolność przygotowywania środowisk i danych pod rozwiązania AI/ML.
- Doświadczenie z narzędziami orkiestracji i automatyzacji procesów, w szczególności AWS Step Functions.
- Znajomość AWS Glue, w tym tworzenia i utrzymania Glue Jobs oraz zarządzania danymi w Glue Catalog.
Mile widziane
- Doświadczenie z Terraform w zakresie automatyzacji i zarządzania infrastrukturą jako kodem (IaC).
- Doświadczenie w pracy z chmurą Azure oraz narzędziem Azure DevOps.
- znajomość narzędzi oraz rozwiązań AI/ML.
OFERUJEMY
- Nowy sposób na aplikowanie z AI Rekruterem (AIR) – w trakcie procesu możesz porozmawiać z wirtualnym rekruterem 24/7, bez czekania na telefon. Finalną decyzję zawsze podejmuje Opiekun Projektu.
- Uczestnictwo w wydarzeniach branżowych oraz meetupach technologicznych, umożliwiających dzielenie się wiedzą i doświadczeniem.
- Współpracę w modelu projektowym, z rozliczeniem opartym na etapach i protokołach odbioru poszczególnych deliverables.
- Wsparcie po stronie Connectis w sprawach administracyjnych i rozliczeniowych związanych ze współpracą.
- Otwartość na okazjonalne spotkania koordynacyjne w Warszawie (orientacyjnie raz na kwartał).
- 5 000 PLN za polecenie znajomych do naszych projektów.
- Elastyczną formę współpracy B2B.
- Szybki i zdalny proces.
13400/RJ
Wymagania
- Projektowanie rozwój oraz utrzymanie wydajnych pipeline’ów danych (ETL/ELT) z wykorzystaniem Spark, Python oraz usług AWS.
- Budowa i rozwój nowoczesnej platformy danych typu Data Lakehouse wspierającej wiele produktów i obszarów biznesowych.
- Implementacja i rozwój orkiestracji workflow oraz automatyzacji procesów CI/CD z wykorzystaniem AWS Step Functions.
- Współpraca z zespołami ML w zakresie przygotowania i dostarczania danych pod rozwiązania oparte o SageMaker.
- Integracja oraz przetwarzanie danych z różnych źródeł zewnętrznych, m.in. IoT, OEM oraz systemów partnerskich.
- Optymalizacja wydajności przetwarzania danych oraz kosztów infrastruktury w środowisku chmurowym.
- Zapewnienie jakości danych poprzez walidację, monitoring i observability.
Wymagania technologiczne
- AWS
- Spark
- Python
- SQL
- Data Mesh
- Step Functions
- AWS Glue Jobs
- AWS Glue Catalog
- Azure
- Azure DevOps
- Terraform
- AI/ML
Dodatkowe benefit
- Sport subscription
- International projects
- Private healthcare
Dziękujemy za wszystkie zgłoszenia. Informujemy, że skontaktujemy się wyłącznie z wybranymi osobami.