Senior Big Data Engineer

Praca nad dużymi pipeline'ami raportowymi i infrastrukturą przetwarzania ogromnych zbiorów danych dla globalnego lidera ekosystemu aplikacji mobilnych. W praktyce oznacza to zarówno tworzenie logiki danych w Scali/Sparku, jak i utrzymanie oraz optymalizację infrastruktury (m.in. Spark na Kubernetes), co wykracza poza typowe obowiązki inżyniera Big Data. Zespół jest rozproszony geograficznie (Europa i inne strefy czasowe), a algorytmy mają bezpośredni wpływ na decyzje strategiczne - liczy się precyzja i odporność na presję.

• bardzo dobre doświadczenie w tworzeniu oprogramowania w Scali
• głęboka znajomość Apache Spark (DataFrame/SQL API)
• praktyczne doświadczenie ze Spark Streaming
• dobra znajomość Kubernetes w kontekście działania Sparka na klastrach Kube
• doświadczenie z formatami data lakehouse: Hive i Iceberg
• doświadczenie w orkiestracji workflow z Apache Airflow
• biegła znajomość SQL, w tym zaawansowany SparkSQL (window functions, złożone group-by)