QA-инженер (AI/ML)
Summary
Senior QA engineer tests AI/ML components and services, focusing on RAG pipelines and LLM metrics using Python, SQL, and REST APIs.
Навыки: Нагрузочное тестирование, Python, LLM. Квалификация: Senior. Специализации: Инженер по автоматизации тестирования.
О компании
Группа Rubytech — лидирующий производитель программно-аппаратных комплексов и разработчик технологий для высоконагруженных ИТ-инфраструктур. Мы выпускаем собственную линейку ПАК Скала^р, а также строим и защищаем от киберугроз инфраструктуру, обеспечивая бесперебойную работу крупного бизнеса и государственных организаций.
Ожидания от кандидата
- Опыт тестирования AI/ML-компонентов и сервисов;
- Опыт работы с фреймворками: LangChain, LlamaIndex, RAGAS, Langfuse;
- Опыт тестирования RAG-пайплайнов: качество retrieval (Hit Rate, MRR, NDCG@K), релевантность ответов, groundedness;
- Знание Python, SQL, REST API;
- Знание метрик оценки LLM;
- Понимание принципов работы агентских систем, MCP.
Желательно:
- Опыт работы с Postman, Selenium, PyTest;
- Оценка экономической эффективности: контроль token usage, cost per request, API-лимитов;
- Понимание интеграционного тестирования: коннекторы к Active Directory, MS SharePoint, Confluence, мессенджерам и пр.;
- Навыки тестирования ИБ: prompt injection, jailbreak-атаки, проверка утечки PII (паспорта, телефоны), data leakage системных промптов.
Условия работы:
- Уютный, комфортный и современный офис в пешей доступности от м. Алексеевская, где есть все необходимое для работы и даже больше: дежурный врач, кафе и столовая, кофе и фрукты, фитнес-центр, коворкинг и многое другое.
- Стабильный и «белый» конкурентный доход, который мы обсудим при встрече;
- Удобный график — гибрид или офис (в зависимости от подразделения);
- Работа в аккредитованной ИТ-компании из реестра Минцифры (отсрочка от мобилизации);
- Профессиональный рост, обучение и развитие, участие в проекте «Лекторий Rubytech»;
- Развитые спортивные комьюнити: футбол, волейбол, баскетбол и шахматы;
- ДМС для вас и вашей семьи на особых условиях;
- Тимбилдинги, митапы и другие корпоративные мероприятия;
- Скидки у 500+ партнеров (платформы BestBenefits и Lerna).
Ждем вас в нашей команде!