Data Engineer (AWS)

Wynagrodzenie
B2B: 140 – 160 PLN / godz. netto

RITS Group to firma informatyczna, która oferuje najwyższej jakości usługi programistyczne zarówno dla rynku polskiego, jak i międzynarodowego. Jesteśmy dumni, że należymy do grona najszybciej rozwijających się spółek technologicznych. Naszym priorytetem jest jakość oraz innowacyjność dostarczanych rozwiązań, a nasza kultura organizacyjna opiera się na zaufaniu, współpracy i ciągłym doskonaleniu.

Tryb usługi: 100% zdalnie
Model współpracy: B2B
Stawka: 140–165 PLN netto + VAT / h
Poziom: Senior / Mid+

O projekcie

Dołączysz do międzynarodowego zespołu rozwijającego nowoczesną platformę danych opartą na AWS, która wspiera produkty cyfrowe i obszary takie jak analityka produktowa, customer engagement, attribution, reporting oraz dane subskrypcyjne i płatnicze.

Platforma wykorzystuje . AWS S3, Redshift, EMR, Glue, Lambda, Step Functions, PySpark, dbt oraz Airflow. Dane są wykorzystywane przez narzędzia takie jak Looker, Segment, Braze, Amplitude i AppsFlyer.

Poszukujemy osoby, która wesprze bieżący rozwój i utrzymanie platformy, a jednocześnie pomoże zwiększyć jej niezawodność, wydajność i efektywność kosztową.

Zakres współpracy

• Rozwijanie i utrzymywanie pipeline'ów danych oraz reagowanie na problemy związane z ich działaniem.

• Projektowanie i rozwój procesów ingestii danych, w tym integracji z bazami Aurora PostgreSQL oraz SQS.

• Budowanie i optymalizacja transformacji danych z wykorzystaniem PySpark i dbt.

• Rozwijanie mechanizmów kontroli jakości danych, monitorowania ich aktualności i niezawodności pipeline'ów.

• Zarządzanie konfiguracją Segment, projektowanie schematów zdarzeń oraz współpraca z zespołami Product i Engineering.

• Zapewnienie spójności danych pomiędzy Redshift a narzędziami Braze, Amplitude, AppsFlyer i Looker.

• Przygotowywanie i udostępnianie danych dla narzędzi zewnętrznych, partnerów oraz zespołów wewnętrznych.

• Rozwijanie istniejących modeli ML, przygotowywanie feature pipelines i zbiorów treningowych oraz wdrażanie modeli z wykorzystaniem AWS SageMaker.

• Wsparcie inicjatyw AI, w tym rozwiązań opartych na LLM, przygotowywania zbiorów ewaluacyjnych i optymalizacji kosztów.

• Optymalizacja wydajności i kosztów Amazon Redshift.

• Rozwijanie infrastruktury jako kodu z wykorzystaniem AWS SAM, CloudFormation lub podobnych rozwiązań oraz CI/CD.

• Modernizacja istniejącej architektury i stopniowe przenoszenie starszych rozwiązań na aktualny stack technologiczny.

• Współpraca z zespołami Analytics, Finance i Product przy definiowaniu oraz standaryzacji metryk biznesowych.

• Rozwijanie projektu dbt, w tym modeli incremental, testów i kontroli jakości danych.

• Code review oraz wsparcie merytoryczne mniej doświadczonych członków zespołu.

Wymagania techniczne

• Minimum 4 lata doświadczenia w obszarze Data Engineering, w tym doświadczenie w samodzielnym rozwijaniu i utrzymywaniu produkcyjnego data warehouse.

• Bardzo dobra znajomość SQL i Python, w tym PySpark.

• Praktyczne doświadczenie z Amazon Redshift lub podobnym rozwiązaniem MPP, w szczególności w zakresie optymalizacji wydajności, distribution keys, sort keys i workload management.

• Znajomość modelowania danych, w tym dimensional modeling oraz Slowly Changing Dimensions.

• Doświadczenie z dbt: incremental models, tests i sources.

• Praktyczna znajomość Segment lub podobnej platformy Customer Data Platform (CDP) oraz projektowania event schemas.

• Doświadczenie w środowisku AWS: S3, IAM, Glue, Lambda, Step Functions, Spark on EMR oraz RDS/Aurora.

• Znajomość Infrastructure as Code, np. CloudFormation, AWS SAM lub Terraform.

• Doświadczenie w pracy z CI/CD.

• Umiejętność projektowania idempotentnych pipeline'ów oraz procesów umożliwiających ponowne przetwarzanie danych (backfilling).

• Praktyczne doświadczenie w przygotowywaniu danych pod rozwiązania ML/AI, np. feature engineering, training datasets lub model serving. Nie jest wymagane kompleksowe zarządzanie całym cyklem życia modeli ML.

Dodatkowe informacje

• Bardzo dobra znajomość języka angielskiego – poziom B2, C1 lub C2.

• Samodzielność w rozwiązywaniu problemów technicznych.

• Umiejętność pracy z produkcyjnymi systemami danych i podejmowania decyzji dotyczących architektury