Senior Data Engineer [M/F] @ Arche Solutions

Projekt obejmuje budowę i optymalizację pipeline’ów danych wspierających analitykę, systemy rekomendacyjne oraz rozwiązania Machine Learning. Będziesz współpracować z zespołami Data Science i Engineering, dbając o niezawodność, wydajność oraz wysoką jakość danych w środowisku produkcyjnym.

• min. 6-letnie doświadczenie w roli Data Engineera,
• bardzo dobra znajomość Python, SQL oraz Spark,
• doświadczenie w budowie i utrzymaniu dużych pipeline’ów ETL/ELT,
• doświadczenie z narzędziami orkiestracyjnymi, np. Apache Airflow,
• praktyczne doświadczenie z chmurą: GCP, AWS lub Azure,
• doświadczenie w pracy z dużymi wolumenami danych,
• znajomość Kubernetes,
• dobra znajomość praktyk Software Engineering,
• doświadczenie z Git oraz CI/CD,
• samodzielność i umiejętność przejmowania odpowiedzialności za działające systemy produkcyjne,
• bardzo dobre umiejętności analityczne i rozwiązywania problemów,
• zaawansowana znajomość języka angielskiego (min. B2).

Projekt obejmuje budowę i optymalizację pipeline’ów danych wspierających analitykę, systemy rekomendacyjne oraz rozwiązania Machine Learning. Będziesz współpracować z zespołami Data Science i Engineering, dbając o niezawodność, wydajność oraz wysoką jakość danych w środowisku produkcyjnym. ,(rozwój, utrzymanie i optymalizację skalowalnych platform danych,, budowę i obsługę złożonych pipeline’ów ETL/ELT,, zapewnienie niezawodności pipeline’ów przetwarzających miliardy zdarzeń dziennie,, monitoring, observability oraz zapewnienie wysokiej jakości danych,, rozwiązywanie problemów produkcyjnych i dbanie o stabilność infrastruktury,, współpracę z Data Scientistami, Analystami i zespołami Engineering,, rozwój narzędzi i frameworków wspierających Data Platform,, pracę przy rozwiązaniach związanych z ML, streamingiem oraz systemami rekomendacyjnymi,, utrzymywanie i rozwój infrastruktury działającej w środowisku Kubernetes/GKE,, rozwój standardów Software Engineering i Data Engineering.) Requirements: Python, Spark, SQL, ETL, Kubernetes, CI/CD, Git, GCP, AWS, Azure, Orkiestracja danych, Apache Airflow