Senior Data Engineer / Spark Developer
Posted
Summary
A senior data engineer designs and builds data processing, synchronization, and reconciliation solutions in a Big Data environment, co-creating a Data Lakehouse architecture with Apache Spark, MongoDB, and Apache Iceberg. Hybrid setup: 1-2 office days per week in Wrocław.
O projekcie
Do zespołu Data Platform poszukujemy doświadczonego Spark / Data Lakehouse Developera, który będzie odpowiedzialny za projektowanie i rozwój rozwiązań do przetwarzania, synchronizacji oraz rekoncyliacji danych w środowisku Big Data. Osoba na tym stanowisku będzie współtworzyć nowoczesną architekturę Data Lakehouse opartą o Apache Spark, MongoDB oraz Apache Iceberg, dbając o jakość, wydajność i niezawodność procesów danych.
- Minimum 4 lata doświadczenia komercyjnego w pracy z Apache Spark.
- Bardzo dobra znajomość PySpark, Spark SQL, DataFrame API oraz Structured Streaming.
- Doświadczenie w integracji Apache Spark z MongoDB przy wykorzystaniu MongoDB Spark Connector.
- Praktyczna znajomość Apache Iceberg oraz zarządzania wersjonowanymi tabelami danych.
- Doświadczenie w budowie rozwiązań Data Lake lub Data Lakehouse.
- Dobra znajomość języka Python.
- Doświadczenie z Jenkins oraz budową pipeline'ów CI/CD.
- Znajomość narzędzi monitoringu i observability, w szczególności Prometheus oraz Grafana.
- Doświadczenie w pracy zgodnie z metodykami Agile (Scrum lub Kanban).
- Praktyczna znajomość Jira i Confluence.
- Gotowość do pracy z biura 1-2 dni w tygodniu (Wrocław)
Mile widziane
- Doświadczenie z Delta Lake lub Apache Hudi.
- Znajomość Kubernetes, Docker oraz Spark Operator.
- Doświadczenie w pracy z rozwiązaniami OpenTelemetry lub Dynatrace.
- Znajomość zagadnień Data Quality, Data Governance oraz Data Observability.
- Doświadczenie w środowiskach chmurowych (Azure, AWS, GCP).