Big Data Engineer: Spark, Kafka & Infra Automation
Summary
Big Data Engineer at IT consultancy Algoteque in Warsaw, developing and maintaining a Big Data platform: automating infrastructure across DEV/TEST/PREPROD/PROD, monitoring Spark-based ETL and Kafka stream processing, analyzing logs and metrics, and supporting Kubernetes.
ALGOTEQUE to firma doradcza IT, która wspiera startupy, średnie i duże przedsiębiorstwa w tworzeniu i wdrażaniu innowacyjnych technologii. Poszukujemy Big Data Developera do wsparcia rozwoju i utrzymania platformy Big Data, automatyzacji infrastruktury oraz monitoring procesów przetwarzania danych.
Zakres projektu obejmuje Automatyzację w środowiskach DEV/TEST/PREPROD/PROD, monitorowanie ETL opartych na Spark i przetwarzanie strumieniowe Kafka, analizę logów i metryk, wsparcie Kubernetes oraz