Data Engineer (Kafka / Confluent Cloud)
Posted 18
views
Summary
Data Engineer building and maintaining event-driven data platforms on Apache Kafka and Confluent Cloud. Day to day: designing data processing pipelines, integrating data between systems, writing and optimizing Python scripts and SQL transformations, and monitoring/troubleshooting data flows alongside architects, analysts, and developers.
O projekcie:
Dołącz do zespołu odpowiedzialnego za rozwój nowoczesnych platform danych opartych o architekturę event-driven. Poszukujemy Data Engineera, który będzie wspierać budowę i utrzymanie rozwiązań opartych o Kafka oraz Confluent Cloud, współpracując z zespołami odpowiedzialnymi za integrację danych i rozwój systemów analitycznych.
Wymagania:
- Komercyjne doświadczenie w pracy z Apache Kafka.
- Praktyczna znajomość Confluent Cloud.
- Bardzo dobra znajomość Pythona.
- Bardzo dobra znajomość SQL.
- Doświadczenie w projektowaniu i utrzymaniu rozwiązań do przetwarzania danych.
- Umiejętność samodzielnego rozwiązywania problemów oraz pracy w środowisku zespołowym.
Mile widziane
- Doświadczenie z Event-Driven Architecture.
- Znajomość narzędzi CDC (Change Data Capture).
- Doświadczenie w pracy z Google Cloud Platform (GCP).
- Znajomość MongoDB.
- Certyfikacja Confluent Cloud lub inne certyfikaty związane z ekosystemem Kafka.
Codzienne zadania:
- Projektowanie, rozwój i utrzymanie rozwiązań opartych o Apache Kafka oraz Confluent Cloud.
- Tworzenie i rozwijanie pipeline'ów przetwarzania danych w środowiskach rozproszonych.
- Implementacja procesów integracji danych między różnymi systemami.
- Tworzenie oraz optymalizacja skryptów i aplikacji w Pythonie.
- Pisanie, rozwijanie i optymalizacja zapytań SQL oraz procesów transformacji danych.
- Monitorowanie, diagnozowanie i rozwiązywanie problemów związanych z przepływem danych.
- Współpraca z architektami, analitykami i zespołami developerskimi przy projektowaniu rozwiązań data-driven.
- Udział w projektowaniu architektury opartej o zdarzenia (Event-Driven Architecture).