Data Engineer

Poszukujemy osoby na stanowisko Data Engineer do projektu realizowanego w międzynarodowym środowisku technologicznym. Osoba na tym stanowisku będzie odpowiedzialna za rozwój i utrzymanie rozwiązań przetwarzania danych w środowisku Big Data, budowę procesów integracyjnych oraz współpracę z zespołami odpowiedzialnymi za rozwój platform danych.

Zakres obowiązków

• Projektowanie, rozwój i utrzymanie rozwiązań Data Engineering.

• Tworzenie i rozwijanie procesów przetwarzania oraz integracji danych.

• Budowa i optymalizacja pipeline’ów danych.

• Implementacja wymagań biznesowych w postaci procesów i transformacji danych.

• Tworzenie oraz utrzymanie workflowów i procesów automatyzacji.

• Rozwój oraz utrzymanie procesów CI/CD.

• Współpraca z zespołami technicznymi i biznesowymi przy analizie wymagań oraz rozwiązywaniu problemów.

• Wsparcie środowisk produkcyjnych oraz analiza incydentów.

• Dbanie o jakość, wydajność i niezawodność dostarczanych rozwiązań.

Wymagania

• Minimum kilkuletnie doświadczenie na stanowisku Data Engineer lub pokrewnym.

• Bardzo dobra znajomość Scala.

• Doświadczenie w pracy z Apache Hadoop oraz Apache Spark.

• Praktyczna znajomość Apache Kafka.

• Doświadczenie w budowaniu i utrzymaniu procesów CI/CD z wykorzystaniem Jenkins.

• Znajomość SQL oraz zagadnień związanych z przetwarzaniem dużych wolumenów danych.

• Doświadczenie w pracy z systemami kontroli wersji Git.

• Umiejętność pracy w środowisku międzynarodowym.

• Komunikatywna znajomość języka angielskiego.

Mile widziane:

• Doświadczenie z Kubernetes.

• Znajomość Apache Flink.

• Doświadczenie w pracy z Airflow lub Oozie.