GenAI Test Automation Engineer

Billennium is hiring a Senior QA Automation Engineer to build and validate enterprise-scale GenAI products. The role focuses on automation in API, database, ETL testing, and validation of AI-powered applications in regulated environments.

• 5+ years of experience in Test Automation Engineering, QA Automation, or SDET roles
• Strong proficiency in Python
• Hands-on experience with Playwright
• Experience with WebUI test automation
• Experience with API testing and automation
• Strong understanding of databases and database testing
• Strong SQL skills
• Experience validating ETL processes, data pipelines, or complex data workflows
• Extensive validation experience in regulated industries such as Pharma, Healthcare, Banking, or Financial Services
• Experience building automated testing solutions across UI, API, and data layers
• Understanding of AI-powered applications, GenAI products, or AI-assisted testing approaches
• Experience testing LLM- or AI-based applications
• Ability to collaborate effectively in cross-functional and international teams

Nice to have:

• Experience with AWS and cloud-based testing environments
• Experience with Apache Airflow
• Knowledge of Neo4j, Postman, Cypher / OpenCypher
• Knowledge of MCP (Model Context Protocol) and AWS Bedrock
• Knowledge of data quality or machine learning validation practices

• Design and develop automated testing solutions for GenAI products
• Build and maintain scalable test frameworks using Python and Playwright
• Design, implement, and execute WebUI and API test automation
• Create validation strategies for AI-powered applications and GenAI workflows
• Validate AI-generated outputs, data quality, and end-to-end business processes
• Develop and execute automated testing for database integrations and ETL processes
• Create SQL-based validation scenarios to ensure data consistency and integrity
• Collaborate with engineering and product teams to improve quality, reliability, and test coverage
• Contribute to automation and quality engineering best practices across the software development lifecycle

Informujemy, że administratorem danych jest Billennium S.A. z siedzibą w Warszawie, ul. Koszykowa 61 (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego. Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda. Dane osobowe będą przetwarzane do czasu zakończenia postępowania rekrutacyjnego i przez okres możliwości dochodzenia ewentualnych roszczeń, a w przypadku wyrażenia zgody na udział w przyszłych postępowaniach rekrutacyjnych - do czasu wycofania tej zgody. Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.