Kafka Engineer

Clurgo to firma stworzona przez developerów dla developerów. Realizuje różnorodne projekty IT dla klientów z wielu branż. Obecnie rekrutuje do projektu z branży bankowej, gdzie celem jest budowa i rozwój zaawansowanego, hybrydowego środowiska Kafka łączącego klastry on-premise i AWS.

• Minimum 4 lata praktycznego doświadczenia z Apache Kafka
• Biegła znajomość Confluent Platform (Enterprise) oraz Confluent Cloud
• Doświadczenie w migracji i replikacji klastrów przy użyciu MirrorMaker 2, Cluster Linking oraz Confluent Replicator
• Znajomość środowiska AWS oraz usług: VPC, IAM, EC2, EKS, MSK, S3, KMS, Secrets
• Doświadczenie w budowie i utrzymaniu środowisk hybrydowych (on-premise ↔ AWS)
• Tworzenie infrastruktury jako kod z użyciem Terraform (moduły, testy)
• Automatyzacja zadań za pomocą języków Python, Bash lub Ansible
• Konfiguracja pipeline'ów CI/CD (GitHub Actions, GitLab CI, Jenkins)
• Znajomość monitoringu: Prometheus, Grafana, Confluent Control Center, OpenTelemetry, Elastic Stack
• Znajomość zagadnień bezpieczeństwa: TLS, SASL, ACL, RBAC, szyfrowanie danych

Nice to have:

• Doświadczenie w automatyzacji testów integracyjnych dedykowanych dla Kafka
• Znajomość komponentów przetwarzania danych strumieniowych: Flink, Tableflow
• Doświadczenie w pracy w zespołach klasy Enterprise w metodykach Agile (Scrum/Kanban)

• Projektowanie hybrydowej topologii Kafka łączącej infrastrukturę on-premise z AWS
• Dobór, konfiguracja oraz strojenie komponentów Confluent Platform (Schema Registry, Flink, Control Center, Tableflow)
• Tworzenie i zarządzanie klastrami Kafka (MSK, Confluent Cloud) oraz powiązanymi zasobami
• Implementacja monitoringu i systemów alertowania (Prometheus, Grafana, OpenTelemetry) oraz definiowanie SLA/SLO i runbooków
• Konfiguracja i optymalizacja mechanizmów replikacji: MirrorMaker 2, Cluster Linking oraz Replicator
• Wdrażanie infrastruktury jako kod przy użyciu Terraform (wersjonowanie, testowanie planów, automatyzacja wdrożeń)
• Definiowanie pipeline'ów wdrożeniowych (GitHub Actions, GitLab CI, Jenkins) dla klastrów, schematów danych oraz aplikacji
• Zapewnianie spójności danych oraz dbanie o niskie opóźnienia w transferze między środowiskami