Expert LLM Engineer (AI Security)

At Framna, we partner with ambitious brands to create digital products by working across the full product journey, from strategy and UX to engineering and growth. They build AI-powered security solutions for a next-generation, passwordless authentication platform used by millions worldwide, focusing on advanced biometrics to protect digital identities.

• At least 7 years of experience in software engineering, machine learning engineering, or security engineering
• Minimum 2 years of hands-on experience with developing and maintaining LLM-based solutions in production
• Proficient in Python with ability to create maintainable and testable software
• Experience building backend components and integrating models with applications, APIs, and data sources
• Understanding of model evaluation and validation principles including data quality and leakage
• Experience with prompt engineering and context management for models
• Experience building AI agents with tool calling and multi-step workflow orchestration
• Skills in designing evaluation datasets and regression tests for assessing LLM quality and safety
• Practical knowledge of security risks related to LLMs and AI agents, including resistance testing
• Ability to analyze traffic, telemetry, or behavioral patterns to detect unsafe or unauthorized actions

Nice to have:

• Experience fine-tuning language models, including data preparation and evaluation
• Experience in fraud or abuse detection based on traffic, telemetry, or behavior
• Experience investigating mobile application security on Android or iOS
• Experience in security research, red teaming, or penetration testing beyond LLM systems
• Familiarity with tools like garak, promptfoo, or Langfuse for LLM security testing and observability
• Familiarity with RAG, embeddings, and vector databases
• Knowledge of LoRA/QLoRA and libraries such as PEFT or TRL
• Familiarity with Docker, CI/CD, and cloud services for AI deployment

• Develop and evaluate LLM-based solutions including data preparation, fine-tuning, prompting, context management, and API integration
• Build evaluation datasets and regression tests to enhance quality, reliability, performance, and cost efficiency
• Perform controlled adversarial testing to analyze vulnerabilities and bypass attempts on LLMs and AI agents
• Investigate security threats across Android and iOS environments
• Analyze agent behavior in customer applications to translate findings into product improvements

Informujemy, że administratorem danych jest Framna Poland Sp. z o.o. z siedzibą w Gdańsku, ul. Jana Matejki 12, 80-232 Gdańsk (dalej jako "administrator"). Masz prawo do żądania dostępu do swoich danych osobowych, ich sprostowania, usunięcia lub ograniczenia przetwarzania, prawo do wniesienia sprzeciwu wobec przetwarzania, a także prawo do przenoszenia danych oraz wniesienia skargi do organu nadzorczego.

Dane osobowe przetwarzane będą w celu realizacji procesu rekrutacji. Podanie danych w zakresie wynikającym z ustawy z dnia 26 czerwca 1974 r. Kodeks pracy jest obowiązkowe. W pozostałym zakresie podanie danych jest dobrowolne. Odmowa podania danych obowiązkowych może skutkować brakiem możliwości przeprowadzenia procesu rekrutacji. Administrator przetwarza dane obowiązkowe na podstawie ciążącego na nim obowiązku prawnego, zaś w zakresie danych dodatkowych podstawą przetwarzania jest zgoda.

Dane osobowe będą przetwarzane przez okres trwania procesu rekrutacyjnego, a po jego zakończeniu przez okres 6 miesięcy w celu ochrony przed ewentualnymi roszczeniami związanymi z procesem rekrutacji. Po upływie tego okresu kandydat może otrzymać prośbę o wyrażenie zgody na dalsze przechowywanie danych osobowych na potrzeby przyszłych procesów rekrutacyjnych. W przypadku wyrażenia takiej zgody dane będą przetwarzane do czasu jej wycofania. W przypadku niewyrażenia zgody dane zostaną usunięte zgodnie z obowiązującą polityką retencji danych.

Zgoda na przetwarzanie danych osobowych może zostać wycofana w dowolnym momencie. Odbiorcą danych jest serwis Just Join IT oraz inne podmioty, którym powierzyliśmy przetwarzanie danych w związku z rekrutacją.