Data Engineer (k/m)

Dla dużej instytucji finansowej poszukujemy doświadczonego inżyniera do zespołu odpowiedzialnego za budowę i utrzymanie platformy danych opartej na Apache Airflow.

Twój zakres obowiązków

• Tworzenie, optymalizacja i utrzymanie DAG-ów w Apache Airflow

• Konfiguracja Task Flow API, mechanizmów XComs oraz zarządzanie zależnościami i harmonogramowaniem zadań

• Automatyzacja wdrożeń DAG-ów i kodu ETL na środowisku OpenShift (GitLab CI/CD, Jenkins, ArgoCD)

• Zarządzanie obiektami OpenShift (Pods, Deployments, Routes, ConfigMaps, Secrets) oraz skalowanie aplikacji w kontenerach

• Pisanie i optymalizacja zapytań w SQL, PL/SQL i Transact-SQL oraz praca ze środowiskami Oracle

• Wdrażanie rozwiązań Infrastructure as Code

• Współpraca z zespołami analitycznymi i inżynierskimi przy projektowaniu procesów przetwarzania danych

Nasze wymagania

• Praktyczna znajomość Apache Airflow (DAG-i, Task Flow API, XComs, zarządzanie zależnościami)

• Doświadczenie z SQL, PL/SQL, Transact-SQL oraz środowiskami Oracle

• Znajomość OpenShift/Kubernetes – obiekty klastra, uruchamianie zadań, skalowanie aplikacji w kontenerach

• Doświadczenie z narzędziami CI/CD (GitLab, Jenkins lub ArgoCD)

• Znajomość Pythona i bibliotek do przetwarzania danych oraz integracji z bazami

• Znajomość narzędzi Infrastructure as Code

• Samodzielność, dociekliwość i analityczne podejście do rozwiązywania problemów

• Przejrzysty sposób komunikacji

• Znajomość języka angielskiego umożliwiająca czytanie dokumentacji techniczne