Test Automation Engineer

Billennium is a company offering a senior Test Automation Engineer role involving QA ownership of a complex solution that combines data processing, AI, and optimization components. The solution covers backend and frontend, automated data pipelines, and PDF generation, presenting functional, integration, performance, and quality challenges.

• Senior-level QA experience with previous ownership of QA in at least one project.
• Hands-on experience creating and implementing a test concept/test strategy independently.
• Strong Python and pytest test automation skills.
• Experience configuring and maintaining automated tests in CI pipelines.
• Strong experience testing backend and data-oriented systems, including APIs, integrations, data pipelines, and batch processing.
• Experience generating synthetic or rule-based test data.
• Experience with runtime, performance, and volume testing of backend or batch systems, including parallel processing.
• Ability to design performance scenarios, define relevant metrics, and analyse bottlenecks.
• Frontend test automation experience with Playwright or a comparable tool.
• Manual and exploratory testing experience.
• Practical knowledge of defect classification, severity levels, and release criteria.
• Fluent English (B2).

Nice to have:

• Experience testing AI/ML/LLM systems, including evaluating non-deterministic outputs.
• Knowledge of Langfuse or similar tools.
• Experience building AI-supported test agents or LLM-based test automation.
• Experience with property-based testing.
• Experience testing optimization or planning systems.
• Experience with PDF validation or print materials.
• Publishing or media industry experience.
• German language skills.

• Own and evolve the QA strategy, including test levels, risk-based testing, environments, test data, defect classification, and release criteria.
• Design and develop automated tests in Python using pytest, covering APIs, integrations, data pipelines, and batch processing.
• Build frontend automation with Playwright or a comparable tool.
• Integrate automated tests into CI pipelines and develop PDF regression testing, including visual comparison and PDF/X-3 validation.
• Create synthetic and rule-based test data, cover data quality issues and edge cases, and apply property-based testing approaches such as Hypothesis.
• Design and execute performance and volume tests, including parallel processing.
• Analyse runtime and quality metrics in Grafana.
• Test scaling in AWS EKS.
• Perform exploratory and release testing.
• Monitor quality trends and regressions.
• Optionally explore AI-assisted testing, including LLM-based automation.

Informujemy, że administratorem danych jest Billennium S.A. z siedzibą w Warszawie, ul. Koszykowa 61 (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.