Senior Data Engineer (AWS/PySpark) [M/F]

Poszukujemy doświadczonego Senior Data Engineera, który dołączy do niewielkiego zespołu odpowiedzialnego za rozwój i utrzymanie nowoczesnej platformy danych działającej w środowisku AWS.

Platforma wykorzystuje m.in. Amazon Redshift, S3, EMR, PySpark, AWS Glue, Lambda, Step Functions, dbt oraz Airflow do przetwarzania, transformacji i udostępniania danych na potrzeby analityki biznesowej, raportowania oraz integracji z systemami produktowymi i marketingowymi.

Projekt obejmuje zarówno rozwój istniejącej infrastruktury danych, jak i zwiększanie jej niezawodności, optymalizację wydajności i kosztów oraz automatyzację procesów. Ważnym kierunkiem rozwoju jest również przygotowanie platformy do szerszego wykorzystania Machine Learning i AI, w tym budowania pipeline'ów danych dla modeli ML oraz wdrażania rozwiązań opartych na LLM.

• Min. 4 lata komercyjnego doświadczenia w obszarze Data Engineering, w tym pracy z produkcyjnymi hurtowniami danych.
• Bardzo dobra znajomość SQL i Pythona, w tym praktyczne doświadczenie z PySpark.
• Doświadczenie z Amazon Redshift lub inną hurtownią danych typu MPP, obejmujące optymalizację wydajności i modelowanie wymiarowe danych (w tym SCD).
• Praktyczna znajomość dbt, w szczególności modeli inkrementalnych, testowania danych i zarządzania źródłami.
• Doświadczenie z AWS: S3, IAM, Glue, Lambda, Step Functions, EMR oraz RDS/Aurora.
• Znajomość platformy Segment lub podobnego rozwiązania CDP oraz doświadczenie w projektowaniu schematów zdarzeń.
• Doświadczenie w projektowaniu niezawodnych, idempotentnych pipeline'ów danych z możliwością ponownego przetwarzania danych historycznych.
• Praktyczna znajomość Infrastructure as Code (CloudFormation, AWS SAM lub Terraform) oraz procesów CI/CD.
• Doświadczenie w przygotowywaniu danych na potrzeby projektów ML/AI, np. feature engineering, tworzenie zbiorów treningowych lub wdrażanie modeli.