Data Engineer (Kafka / Confluent Cloud)
Summary
Builds and maintains event-driven data platforms on Apache Kafka and Confluent Cloud: designing data pipelines, integrating systems, writing and optimizing Python and SQL, and monitoring data flows while collaborating with architects, analysts, and developers.
Wynagrodzenie
B2B: 1050 – 1200 PLN / dzień netto
Dołącz do zespołu odpowiedzialnego za rozwój nowoczesnych platform danych opartych o architekturę event-driven. Poszukujemy Data Engineera, który będzie wspierać budowę i utrzymanie rozwiązań opartych o Kafka oraz Confluent Cloud, współpracując z zespołami odpowiedzialnymi za integrację danych i rozwój systemów analitycznych.
Zakres obowiązków
Projektowanie, rozwój i utrzymanie rozwiązań opartych o Apache Kafka oraz Confluent Cloud.
Tworzenie i rozwijanie pipeline'ów przetwarzania danych w środowiskach rozproszonych.
Implementacja procesów integracji danych między różnymi systemami.
Tworzenie oraz optymalizacja skryptów i aplikacji w Pythonie.
Pisanie, rozwijanie i optymalizacja zapytań SQL oraz procesów transformacji danych.
Monitorowanie, diagnozowanie i rozwiązywanie problemów związanych z przepływem danych.
Współpraca z architektami, analitykami i zespołami developerskimi przy projektowaniu rozwiązań data-driven.
Udział w projektowaniu architektury opartej o zdarzenia (Event-Driven Architecture).
Wymagania
Komercyjne doświadczenie w pracy z Apache Kafka.
Praktyczna znajomość Confluent Cloud.
Bardzo dobra znajomość Pythona.
Bardzo dobra znajomość SQL.
Doświadczenie w projektowaniu i utrzymaniu rozwiązań do przetwarzania danych.
Umiejętność samodzielnego rozwiązywania problemów oraz pracy w środowisku zespołowym.
Mile widziane
Doświadczenie z Event-Driven Architecture.
Znajomość narzędzi CDC (Change Data Capture).
Doświadczenie w pracy z Google Cloud Platform (GCP).
Znajomość MongoDB.
Certyfikacja Confluent Cloud lub inne certyfikaty związane z ekosystemem Kafka.