Senior Data Engineer – Scala / Spark / Hadoop

Nasze wymagania:

• Bardzo dobra, praktyczna znajomość Scali.
• Doświadczenie komercyjne z Apache Hadoop.
• Praktyczna znajomość Apache Spark i przetwarzania dużych wolumenów danych.
• Doświadczenie w tworzeniu pipeline’ów Data Engineering.
• Znajomość Apache Kafka oraz architektury event-driven.
• Praktyczne doświadczenie z CI/CD, w szczególności Jenkins.
• Bardzo dobra znajomość Git oraz procesu code review i Pull Requestów.
• Umiejętność tworzenia i optymalizowania zapytań SQL.
• Doświadczenie w pracy ze środowiskami produkcyjnymi.
• Umiejętność samodzielnego analizowania złożonych problemów technicznych.
• Komunikatywna znajomość języka angielskiego pozwalająca na pracę w międzynarodowym zespole.
• Gotowość do pracy hybrydowej – 2 dni w tygodniu z biura w Warszawie lub Gdańsku.
• Możliwość wykonywania pracy z terytorium Polski.

Mile widziane:

• Znajomość Kubernetes.
• Doświadczenie z Apache Flink.
• Znajomość Apache Airflow lub Apache Oozie.
• Doświadczenie w projektach regulacyjnych lub systemach raportowych.
• Doświadczenie zdobyte w sektorze finansowym.

Zakres obowiązków:

• Projektowanie, rozwijanie i utrzymywanie rozwiązań Data Engineering w środowisku Hadoop i Apache Spark.
• Tworzenie skalowalnych procesów przetwarzania dużych zbiorów danych.
• Analizowanie złożonych wymagań biznesowych i przekładanie ich na rozwiązania techniczne.
• Tworzenie wydajnych zapytań SQL oraz optymalizacja procesów przetwarzania danych.
• Budowanie i rozwijanie pipeline’ów danych oraz procesów raportowych.
• Tworzenie i utrzymywanie workflowów przy użyciu Apache Oozie oraz Apache Airflow.
• Rozwijanie rozwiązań opartych na języku Scala.
• Praca z architekturą event-driven wykorzystującą Apache Kafka.
• Utrzymywanie i rozwijanie procesów CI/CD z wykorzystaniem Git, Pull Requestów oraz Jenkins.
• Zapewnianie wsparcia L3 dla środowisk produkcyjnych.
• Analizowanie incydentów i problemów produkcyjnych we współpracy z zespołami odpowiedzialnymi za stabilność systemów.
• Współpraca z interesariuszami biznesowymi przy definiowaniu wymagań i rozwiązywaniu problemów.
• Dbanie o jakość, wydajność, bezpieczeństwo i niezawodność tworzonych rozwiązań.

Oferujemy:

• Udział w strategicznym projekcie regulacyjnym o realnym znaczeniu dla sektora finansowego.
• Pracę w zaawansowanym środowisku Big Data.
• Możliwość korzystania z technologii takich jak Scala, Hadoop, Spark, Kafka, Airflow i Jenkins.
• Dużą samodzielność oraz wpływ na podejmowane decyzje techniczne.
• Współpracę z doświadczonym, międzynarodowym zespołem.
• Stabilny i długoterminowy projekt.
• Środowisko pracy stawiające na jakość, bezpieczeństwo oraz rozwój kompetencji eksperckich.
• Możliwość zdobycia doświadczenia w obszarze regulacji finansowych i raportowania.