Kafka Engineer

Poszukujemy doświadczonego Inżyniera Kafka z dogłębną znajomością Confluent Platform oraz Confluent Cloud, który będzie uczestniczył w budowie hybrydowego środowiska Kafka łączącego klastery on-premise i AWS.

• Minimum 4 lata doświadczenia z Apache Kafka
• Biegła znajomość Confluent Platform (Enterprise) oraz Confluent Kafka / Confluent Cloud
• Doświadczenie w migracji i replikacji klastrów (MirrorMaker 2, Cluster Linking, Confluent Replicator)
• Znajomość chmury AWS
• Praktyczna znajomość usług: VPC, IAM, EC2, EKS, MSK, S3, KMS, Secrets
• Doświadczenie w budowie i utrzymaniu środowisk hybrydowych (on-prem ↔ AWS)
• Znajomość Infrastructure-as-Code, preferowane Terraform – pisanie modułów, testy (terratest, tfsec)
• Umiejętność pracy z Ansible
• Doświadczenie w pipeline-ach CI/CD (GitHub Actions, GitLab CI, Jenkins)
• Automatyzacja testów integracyjnych dla Kafka
• Programowanie / scripting: Python, Ansible, Bash
• Monitoring & Observability: Prometheus, Grafana, Confluent Control Center, OpenTelemetry, Elastic Stack
• Znajomość zagadnień bezpieczeństwa: TLS, SASL, ACL, RBAC, szyfrowanie danych w spoczynku i w tranzycie
• Praca w metodykach Agile: Scrum / Kanban, znajomość Jira, Confluence

• Budowę rozwiązania Kafka w chmurze AWS (Aurora, MSK, EKS, itp.)
• Implementację replikacji danych pomiędzy klastrami on-prem a AWS (MirrorMaker 2, Cluster Linking, Replicator)
• Wytworzenie procesów CI/CD oraz Infrastructure-as-Code dla rozwiązania w AWS
• Projektowanie hybrydowej topologii Kafki (on-prem ↔ AWS)
• Dobór i konfiguracja komponentów Confluent Platform (Schema Registry, Flink, Control Center, Tableflow)
• Tworzenie klastrów Kafka (MSK, Confluent Cloud) oraz niezbędnych komponentów AWS
• Replikacja i synchronizacja danych
• CI/CD & IaC
• Operacje i wsparcie
• Implementacja monitoringu (Prometheus/Grafana)
• Konfiguracja MirrorMaker 2 / Cluster Linking / Replicator
• Zapewnienie spójności i niskich opóźnień przy transferze danych między środowiskami
• Definiowanie pipeline-ów (GitHub Actions, GitLab CI, Jenkins) dla wdrożeń Kafki, schematów i aplikacji konsumenckich
• Implementacja IaC w Terraform – wersjonowanie, testy planów, automatyczne apply
• Tworzenie i utrzymywanie run-booków, alertów, SLA/SLO
• Rozwiązywanie incydentów w trakcie budowy rozwiązania, optymalizacja wydajności, tuning konfiguracji
• Praca w zespole Data Platform (Data Engineers, DevOps, Security)
• Mentoring mniej doświadczonych członków zespołu, prowadzenie warsztatów technicznych