Data Engineer / ML Data Engineer (Mid/Senior) – Hybrid
Description
Wynagrodzenie
B2B: 20000 – 25000 PLN / mies. netto
umowa o pracę: 20000 – 25000 PLN / mies. brutto
Data Engineer / ML Data Engineer (Mid/Senior) – Hybrid
Wynagrodzenie: 20 000–25 000 PLN miesięcznie (UoP brutto lub adekwatna stawka B2B netto + VAT)
Forma współpracy: Umowa o pracę lub B2B
Lokalizacja: Warszawa
Tryb pracy: Hybrydowy
Szukamy Data Engineera do zespołu rozwijającego systemy, które przetwarzają ogromne ilości danych i wykorzystują modele ML do podejmowania decyzji w czasie rzeczywistym. Dużym wyzwaniem jest zapewnienie jakości danych i wydajności ich przetwarzania przy bardzo wysokim obciążeniu. To praca dla kogoś, kto lubi szukać wąskich gardeł, rozwiązywać złożone problemy techniczne i budować rozwiązania, które niezawodnie działają na produkcji.
Co będziesz robić:
Budować i optymalizować pipeline'y danych zasilające produkcyjne modele ML.
Dbać o jakość i kompletność danych, wykrywać błędy i anomalie, zanim wpłyną na działanie modeli.
Projektować sposób przechowywania i przetwarzania danych, tak żeby system radził sobie z dużym obciążeniem.
Tworzyć metryki, dashboardy i alerty monitorujące jakość danych oraz działanie pipeline'ów.
Analizować wydajność przetwarzania i zapytań, szukać wąskich gardeł i usuwać ich przyczyny.
Pracować bezpośrednio z data scientistami, pomagając im skutecznie wykorzystywać dane w modelach ML.
Automatyzować testowanie i wdrażanie zmian w pipeline'ach danych.
Czego oczekujemy:
Masz co najmniej 3 lata doświadczenia w Data Engineering lub pokrewnym obszarze.
Bardzo dobrze znasz Pythona i SQL.
Pracowałeś(-aś) z dużymi wolumenami danych w środowisku produkcyjnym.
Masz doświadczenie z narzędziami takimi jak Spark, Polars lub podobnymi.
Znasz analityczne bazy kolumnowe i potrafisz optymalizować ich działanie.
Współpracowałeś(-aś) z data scientistami lub zespołami ML i rozumiesz, do czego wykorzystywane są przygotowywane przez Ciebie dane.
Potrafisz samodzielnie diagnozować problemy i wdrażać rozwiązania.
Mile widziane:
ClickHouse lub StarRocks.
Kubernetes i narzędzia GitOps.
Go.
Doświadczenie z systemami przetwarzającymi dane w czasie rzeczywistym lub projektami ML.
Nie musisz mieć doświadczenia w konkretnej branży ani pracować wcześniej z systemami o takiej skali. Ważne, żebyś potrafił(-a) wykorzystać swoje doświadczenie w nowych, bardziej wymagających warunkach.
Zespół:
Dołączysz do zespołu rozwijającego rozwiązania, które dostarczają dane do modeli ML wykorzystywanych w systemach produkcyjnych.
Będziesz pracować bezpośrednio z data scientistami, ale w obszarze inżynierii danych oczekujemy dużej samodzielności. To rola z realnym wpływem na jakość danych, wydajność i niezawodność całego systemu – nie tylko na pojedynczy etap ETL.
Stack technologiczny:
Python i SQL jako główne technologie; Spark, Polars lub podobne narzędzia do przetwarzania dużych zbiorów danych; analityczne bazy kolumnowe, w tym ClickHouse lub StarRocks. Przydatne będą również Kubernetes, narzędzia GitOps i znajomość Go.
Jak wygląda proces:
Rekrutację prowadzi Optineo. Zaczynamy od krótkiej rozmowy zapoznawczej. Potem umawiamy się na dłuższy wywiad o Twoim doświadczeniu i oczekiwaniach. W trakcie rozmów szybko odkryjemy karty: poznasz nazwę klienta i szczegóły pracy. Wspólnie zdecydujemy, czy idziemy dalej, a informacje o Tobie trafią do klienta wyłącznie za Twoją zgodą. To konkretne, otwarte stanowisko, a nie zbieranie CV na zapas.