QA Engineer (LLM-платформа)

Мы разрабатываем AI-инструменты, LLM-платформу, автоматизацию на базе ИИ. Ищем QA-инженера, который будет отвечать за качество наших AI-продуктов: от классического функционального тестирования до оценки качества ответов LLM и устойчивости промптов. Тестирование AI-систем отличается от классического: результат недетерминирован, «правильный ответ» не всегда один, а баг может проявляться в 1 случае из 20. Нам нужен человек, которому интересно работать именно с этой спецификой.### В твои задачи будет входить: * функциональное и регрессионное тестирование продуктов с LLM-компонентами (веб-интерфейсы, API, интеграции) * разработка и поддержка наборов тестовых сценариев для оценки качества ответов моделей (evaluation datasets, golden sets) * тестирование промптов: проверка устойчивости к перефразированию, edge-кейсам, инъекциям и джейлбрейкам * оценка ответов LLM по критериям: точность, полнота, галлюцинации, соответствие формату (structured output / JSON schema) * анализ недетерминированного поведения: воспроизведение плавающих дефектов, статистическая оценка стабильности * автоматизация рутинных проверок на Python (pytest): smoke-тесты API, прогоны evaluation-сценариев, скрипты для массовой проверки ответов модели * тестирование API-интеграций с LLM-провайдерами (OpenAI, Anthropic, OpenRouter и др.): лимиты, ретраи, обработка ошибок, стриминг * ведение тестовой документации, баг-репортов, участие в приёмке фич * взаимодействие с разработчиками и ML-инженерами при разборе дефектов### Мы ожидаем: * опыт в тестировании от 3 лет (ручное + понимание принципов автоматизации) * практический опыт работы с AI-инструментами: ChatGPT, Claude, Copilot и аналоги — не на уровне «пробовал», а как рабочий инструмент * понимание основ промпт-инжиниринга: структура промпта, few-shot, chain-of-thought, sdd, работа с системными промптами * уверенное тестирование API (Postman / curl / HTTP-клиенты), чтение JSON, понимание REST * понимание специфики LLM: недетерминированность, галлюцинации, ограничения контекста, температура и параметры генерации * python на базовом уровне для автотестирования: умение написать и поддерживать простые автотесты (pytest / requests), понимание структуры тестового проекта, работа с фикстурами и ассертами * умение писать чёткие баг-репорты и тест-кейсы, включая случаи «модель ответила неправильно» с воспроизводимыми условиями Будет плюсом: * продвинутая автоматизация UI (Playwright / Selenium), опыт построения фреймворков с нуля * опыт построения LLM-evaluation пайплайнов (promptfoo, LangSmith, Ragas, собственные фреймворки) * понимание RAG-архитектур и векторного поиска * опыт тестирования безопасности LLM: prompt injection, jailbreaks, утечки данных * английский на уровне чтения технической документации и выше.### Мы предлагаем: * комфортный современный офис рядом с м. Кутузовская * гибридный формат работы * ежегодный пересмотр зарплаты * корпоративный спортзал и зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * программа адаптации и помощь руководителя на старте (для Junior позиций) * расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ * подписка СберПрайм с возможностью совместного использования на трёх близких * вознаграждение за рекомендацию друзей в команду Сбера.