Data Engineer
Posted Updated
Summary
Data Engineer in Warsaw (remote possible) who designs, builds, and maintains big-data ETL and analytics platforms — Python, Scala, Spark, HDFS/Hive — delivering data-access tools (Airflow, JupyterHub, Trino, Superset, MLFlow) on Kubernetes with Docker, ArgoCD, GitLab-CI, and Prometheus monitoring.
Opis roli
Data Engineer będzie odpowiedzialny za projektowanie, budowanie i utrzymywanie infrastruktury, narzędzi i procesów, które umożliwiają organizacji gromadzenie, przechowywanie, przetwarzanie oraz analizowanie dużych wolumenów danych.
Zakres obowiązków
- Rozwój i utrzymanie platform ETL oraz przetwarzania danych (Python, Scala, Spark, HDFS, Hive).
- Rozwój aplikacji wspierających dostęp do danych dla użytkowników biznesowych (Airflow, JupyterHub, Trino, Superset, MLFlow) z wykorzystaniem Kubernetes, Docker, ArgoCD.
- Automatyzacja procesów CI/CD (GitLab-CI).
- Monitorowanie platformy (Prometheus).
- Badania, rozwój i utrzymanie komponentów platformy.
- Realizacja polityk strategicznych związanych z technologiami oraz organizacją pracy.
Wymagania
- Minimum 5 lat doświadczenia jako Data Engineer.
- Biegłość w programowaniu w Pythonie oraz Scala.
- Doświadczenie w pracy z Spark oraz systemami przesyłania komunikatów.
- Znajomość Hadoop.
- Praktyczna znajomość Kubernetes.
- Solidne umiejętności programistyczne i znajomość najlepszych praktyk inżynierii oprogramowania.
- Doświadczenie w pracy z systemami kontroli wersji (preferowany Git).
- Umiejętność prowadzenia rozmów z klientami, identyfikowania ich potrzeb oraz proponowania rozwiązań.