Kafka Engineer

Upvanta sp. z o.o. is recruiting an experienced Kafka Engineer to build a hybrid Kafka environment combining on-premise clusters and AWS cloud services.

• Minimum 4 years of experience with Apache Kafka
• Proficient knowledge of Confluent Platform (Enterprise) and Confluent Cloud
• Experience in migration and replication of clusters using MirrorMaker 2, Cluster Linking, and Confluent Replicator
• Practical knowledge of AWS services including VPC, IAM, EC2, EKS, MSK, S3, KMS, and Secrets management
• Experience building and maintaining hybrid environments (on-prem ↔ AWS)
• Experience with Infrastructure-as-Code using Terraform (module writing, tests like terratest, tfsec)
• Experience with Ansible and CI/CD pipelines (GitHub Actions, GitLab CI, Jenkins)
• Automation of integration tests for Kafka
• Programming and scripting skills in Python and Bash
• Monitoring & Observability tools: Prometheus, Grafana, Confluent Control Center, OpenTelemetry, Elastic Stack
• Security knowledge including TLS, SASL, ACL, RBAC, and encryption for data at rest and in transit
• Familiarity with Agile methodologies, Scrum/Kanban, and tools like Jira and Confluence

• Architecture and design of hybrid Kafka topology (on-prem ↔ AWS)
• Selection and configuration of Confluent Platform components (Schema Registry, Flink, Control Center, Tableflow)
• Building Kafka clusters on MSK and Confluent Cloud
• Data replication and synchronization
• Development of CI/CD pipelines and Infrastructure-as-Code (Terraform, GitHub Actions, GitLab CI, Jenkins)
• Operations support including monitoring implementation with Prometheus and Grafana
• Configuration of MirrorMaker 2, Cluster Linking, and Replicator
• Ensuring data consistency and low latency in data transfers
• Creating and maintaining run-books, alerts, SLA/SLO
• Incident resolution, performance optimization, and tuning
• Collaboration with Data Engineers, DevOps, Security teams
• Mentoring junior team members and conducting technical workshops

Informujemy, że administratorem danych jest Upvanta sp. z o.o z siedzibą w Warszawie, ul. Prosta 70 (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.