QA Lead (AI-First)
Summary
Leads the design and implementation of an AI-driven quality assurance system for an AI-first product, ensuring safe and measurable AI agent code delivery through automated guardrails, metrics, and quality gates.
Мы строим AI-first продуктовую разработку: AI-агенты пишут код и проводят ревью, а инженеры проектируют среду (harness), правила и проверки, внутри которых агенты безопасно доставляют изменения в прод. Нам нужен человек, который сделает это безопасным и измеримым.
Это не классический QA. Вы не будете прогонять тест-кейсы руками и заводить тикеты после разработки. Ваша задача — спроектировать систему качества, внутри которой автономный пайплайн (AI Flow) физически не сможет выпустить в прод изменение ниже заданной планки. Ваш продукт — это quality gates, автотесты как guardrails, eval-харнесс для проверки выхода агентов и метрики, по которым качество agentic delivery становится измеримым.
Вы — последний рубеж качества в команде, где код пишут агенты, а не люди.
Чем предстоит заниматься
- Quality Harness. Развивать тестовый и проверочный слой AI Harness: автотесты, линтеры, проверки типов, контрактные и интеграционные тесты, security- и регрессионные проверки — всё, что стоит между «агент написал код» и «merge». Эти проверки и есть основной механизм борьбы с галлюцинациями.
- Валидация выхода агентов. Проектировать проверки поведения и контрактов, а не конкретной реализации (агент при каждом прогоне может сгенерировать другой код). Golden datasets, регрессионные наборы, оценка качества AI-ревью.
- Quality Gates в AI Flow. Владеть «human gate»: что автоматизируется, что остаётся за человеком, какие критерии блокируют merge. Цель — максимально сузить участие человека без потери надёжности.
- Метрики качества. Сделать качество измеримым: change failure rate, escaped defects, доля изменений без эскалации на человека, стабильность регрессий, false-positive rate AI-ревью. Свести их в общий дашборд рядом с Time-to-Market и Uptime.
- Качество на legacy. Установить базовое покрытие тестами на унаследованном коде, чтобы агенты могли его рефакторить и вносить изменения.
- Управление командой. Растить и развивать команду QA: найм, онбординг, постановка целей, развитие компетенций в сторону AI-first. Выстраивать процессы и культуру качества, при которой контроль встроен в пайплайн, а не держится на героизме отдельных людей.
Что мы ждём от вас
- Технический бэкграунд в QA-автоматизации: умение читать код и работать с автотестами, понимать пайплайн на уровне инженера (Python / JS / TS — приветствуется, но writing-heavy роль не предполагается).
- People management: опыт руководства командой QA — найм, развитие, постановка целей, выстраивание процессов.
- Глубокое понимание тестовой пирамиды, контрактного и интеграционного тестирования, регрессионных стратегий.
- Практический опыт работы с AI-ассистентами/агентами в разработке (Claude / Codex) и понимание их типовых отказов: галлюцинации, «уверенно неправильный» код, дрейф реализации, only happy path tests.
- Eval-driven mindset: умение формализовать «что значит хорошо» в проверяемые критерии и датасеты.
- T-shape: способность разбираться в архитектуре и границах модулей, а не только в тестах.
Будет плюсом
- Опыт SDET / quality-инженера в продуктовой команде с быстрым релиз-циклом.
- Перформанс- и security-тестирование.
- Опыт в marketplace / classifieds-домене.
- Опыт миграций и работы с unowned legacy.
- Опыт работы с ML-командами
Что мы предлагаем:
- Участие в развитии проекта со старта.
- Прямое влияние на конечный продукт.
- Перспективы профессионального и карьерного роста.
- Развитие в команде опытных коллег.
- Минимум бюрократии и быстрое принятие решений.
- Индивидуальное обсуждение графика и формата работы с каждым сотрудником.