Kafka Engineer
Kafka Engineer
Poszukujemy doświadczonego Inżyniera Kafka z dogłębną znajomością Confluent Platform oraz Confluent Cloud, który będzie uczestniczył w budowie hybrydowego środowiska Kafka łączącego klastery on-premise i AWS. Projekt obejmuje:
Budowę rozwiązania Kafka w chmurze AWS (Aurora, MSK, EKS, itp.).
Implementację replikacji danych pomiędzy klastrami on-prem a AWS (MirrorMaker 2, Cluster Linking, Replicator).
Wytworzenie procesów CI/CD oraz Infrastructure-as-Code dla rozwiązania w AWS .
Zakres obowiązków
Architektura i projektowanie
Projektowanie hybrydowej topologii Kafki (on-prem ↔ AWS).
Dobór i konfiguracja komponentów Confluent Platform (Schema Registry,
Flink, Control Center, Tableflow).
Budowa środowiska w
Tworzenie klastrów Kafka (MSK, Confluent Cloud) oraz niezbędnych
AWS
Replikacja i synchronizacja
CI/CD & IaC
Operacje i wsparcie
Współpraca i mentoringvzasobów.
Implementacja monitoringu (Prometheus/Grafana)
Konfiguracja MirrorMaker 2 / Cluster Linking / Replicator.
Zapewnienie spójności i niskich opóźnień przy transferze danych między środowiskami.
Definiowanie pipeline-ów (GitHub Actions, GitLab CI, Jenkins) dla wdrożeń Kafki, schematów i aplikacji konsumenckich.
Implementacja IaC w Terraform – wersjonowanie, testy planów, automatyczne apply.
Tworzenie i utrzymywanie run-booków, alertów, SLA/SLO.
Rozwiązywanie incydentów w trakcie budowy rozwiązania, optymalizacja wydajności, tuning konfiguracji.
Praca w zespole Data Platform (Data Engineers, DevOps, Security).
Mentoring mniej doświadczonych członków zespołu, prowadzenie warsztatów technicznych.
Wymagania techniczne (must-have)
Minimum 4 lata doświadczenia z Apache Kafka.
Biegła znajomość Confluent Platform (Enterprise) oraz Confluent
Kafka / Confluent Cloud.
Doświadczenie w migracji i replikacji klastrów (MirrorMaker 2, Cluster Linking, Confluent Replicator).
Chmura AWS
Praktyczna znajomość usług: VPC, IAM, EC2, EKS, MSK, S3, KMS, Secrets
Doświadczenie w budowie i utrzymaniu środowisk hybrydowych (on-prem ↔ AWS).
Infrastructure-as-Code
Terraform (preferowane) – pisanie modułów, testy (terratest, tfsec).
Ansible.
CI/CD
Doświadczenie z pipeline-ami (GitHub Actions, GitLab CI, Jenkins).
Automatyzacja testów integracyjnych dla Kafki.
Programowanie / Scripting Monitoring & Observability
Python, Ansible, Bash.
Prometheus + Grafana, Confluent Control Center, OpenTelemetry,
Elastic Stack.
Bezpieczeństwo
Znajomość zagadnień TLS, SASL, ACL, RBAC, szyfrowanie danych w spoczynku oraz w tranzycie.
Metodyki Agile
Praca w Scrum / Kanban, znajomość Jira/Confluence.