Senior Data Engineer: Python/PySpark on GCP & Hadoop
Summary
Senior data engineer on an international banking-sector project: builds scalable Python/PySpark ETL pipelines in GCP, optimizes Spark on Dataproc clusters, loads data into BigQuery, and creates validation frameworks plus automated tests and deployments with Airflow and Jenkins. Hybrid role based in Kraków.
Nexio Management Ltd. poszukuje inżyniera danych z silnym zapleczem Python/PySpark do międzynarodowego projektu w sektorze bankowym. Rola łączy budowę skalowalnych procesów ETL w chmurze z tworzeniem frameworków walidacyjnych dla danych krytycznych.
Zakres obejmuje rozwój procesów w GCP, optymalizację Spark na klastrach Dataproc, tworzenie testów automatycznych i automatyzację wdrożeń z Airflow i Jenkins, a także zasilanie danych do BigQuery. Oferujemy pracę hybrydową w Krakowie.