Senior QA Automation Engineer (Generative AI)
Summary
Senior QA Automation Engineer responsible for testing AI products, developing and maintaining automation tests, and creating evaluation pipelines for LLM and Computer Vision solutions. Works with data analysis and quality assessment of Generative AI systems at Ipoteka Bank OTP Group.
Ipoteka Bank OTP Group ищет Senior QA Automation Engineer (Generative AI) в команду Applied AI & Innovation.
Если вам интересно работать на стыке QA, Data Analysis и Generative AI, участвовать в создании AI-продуктов для тысяч пользователей и влиять на качество решений на базе LLM и Computer Vision — будем рады познакомиться.
Чем предстоит заниматься
Тестирование AI-решений
- Проводить ручное и автоматизированное тестирование AI-продуктов.
- Разрабатывать и поддерживать автотесты для функционального, регрессионного и performance-тестирования.
- Создавать и поддерживать evaluation pipelines для LLM и Computer Vision решений.
- Проверять качество ответов моделей по параметрам:
- accuracy;
- relevance;
- hallucinations;
- safety;
- tone of voice.
- Выявлять, документировать и сопровождать дефекты в Jira.
- Определять quality gates и критерии приемки.
Работа с данными
- Подготавливать тестовые и оценочные датасеты.
- Собирать, очищать, размечать и структурировать данные.
- Формировать golden datasets и наборы edge-cases.
- Анализировать результаты тестирования, метрики качества и производственные данные.
- Разрабатывать системы оценки (metrics & rubrics) для AI-решений.
- Создавать отчеты и дашборды по качеству продуктов.
Agile и управление процессом разработки
- Декомпозировать задачи AI-команды на user stories и технические задачи.
- Вести и поддерживать backlog в Jira.
- Участвовать в Scrum-процессах: planning, daily, review, retrospective.
- Контролировать прогресс, зависимости и блокеры команды.
Работа с современными AI-инструментами
- Использовать Claude Code, Cursor или аналогичные agentic coding tools.
- Тестировать агентные AI-системы и многошаговые AI workflows.
- Контролировать качество решений с автономным выполнением задач и использованием инструментов.
Мы ожидаем
Опыт
- От 3 лет опыта в Software QA.
- Коммерческий опыт ручного и автоматизированного тестирования.
- Практический опыт работы по Agile/Scrum.
- Опыт работы с Jira.
Технические навыки
- Python (желательно).
- Опыт работы с фреймворками тестовой автоматизации.
- Понимание CI/CD процессов.
- SQL и анализ данных.
- Навыки визуализации данных и интерпретации результатов.
- Опыт подготовки и управления датасетами.
Будет преимуществом
- Опыт работы с LLM и Generative AI.
- Понимание принципов оценки AI-моделей и prompt testing.
- Знание MLOps / LLMOps.
- Опыт тестирования conversational AI и agentic AI systems.
- Опыт работы в банках, финтехе или других регулируемых отраслях