Data Platform Engineer (Kafka/Streaming)
Summary
Builds and maintains real-time data pipelines using Apache Kafka, Kafka Streams, and kSQL, while designing GraphQL services and optimizing document schemas for a scalable data platform.
Do projektu naszego klienta poszukujemy Data Platform Engineera, który dołączy do zespołu Data Platform - jego rolą będzie budowa nowoczesnych rozwiązań opartych o Apache Kafka ale takze bedzie odpowiedzialny za analizę wymagań biznesowych
- Minimum 3 lata doświadczenia w środowiskach produkcyjnych.
- Znajomość brokerów, topiców, partycjonowania, schematów i replikacji.
- Biegła znajomość Kafka Streams, kSQL.
- Konfiguracja i rozwój konektorów Kafka Connect (gotowych i własnych).
- Biegłość w Javie oraz frameworku Spring (Boot, Cloud, Security, Data).
- Projektowanie schematów dokumentowych, indeksowanie i optymalizacja zapytań.
- Implementacja serwisów GraphQL (Spring GraphQL lub inne), definiowanie schematów i resolverów.
- Podstawowa znajomość formatu tabel i zarządzania metadanymi.
- Znajomość Javy, Pythona
- Znajomość Prometheus, Grafana oraz OpenTelemetry.
- Znajomość mechanizmów TLS, SASL i ACL oraz zasad szyfrowania danych w spoczynku i tranzycie.
- Doświadczenie w pracy w Scrum/Kanban oraz znajomość narzędzi Jira i Confluence.