DS/ ML-инженер / исследователь (LLM-агенты, GigaChat)
Posted 5
views
Summary
ML engineer/researcher on Sber's СберKids team building the СберКот agent on the GigaChat LLM: designs LLM agent logic (planning, memory, tool calling), RAG systems, fine-tunes models with LoRA/QLoRA, and builds LLM evaluation (LLM-as-a-judge, guardrails) plus dataset creation and annotation. Hybrid role based in the Moscow office.
Мы — команда СберKids, которая разрабатывает агента СберКот на базе LLM GigaChat. Направления работы: разработка агентов, LoRA-адаптеры, оценка качества LLM и агентов, RAG, разметка и создание датасетов, LLM-as-a-judge. Мы работаем на стыке исследований и продакшена: от гипотезы и эксперимента до надёжного решения.
Обязанности
Разработка агентов на LLM
- Проектировать логику рассуждений и поведения ИИ-агентов на базе GigaChat: планирование, рассуждение, управление памятью и контекстом.
- Настраивать вызов внешних инструментов (Tool Calling, API, SQL-скрипты) под задачи домена.
- RAG-системы
- Проектировать архитектуру контекстного поиска ответов по сложным документам и структурированным данным, оценивать качество ретривала и генерации.
- Адаптация моделей
- Дообучать и адаптировать модели под задачи команды: Fine-tuning, LoRA/QLoRA, подготовка данных для обучения.
- Eval и качество
- Разрабатывать и внедрять методы оценки LLM и агентов: метрики, бенчмарки, LLM-as-a-judge, Guardrails.
- Анализировать корзину запросов и результаты ответов, выявлять ошибки и галлюцинации, согласовывать метрики с бизнесом и защищать подходы на понятном языке.
- Работа с разметкой и данными
- Создавать датасеты для обучения, оценки и разметки, готовить инструкции для разметчиков.
- Работать с разметчиками: контролировать качество, интерпретировать результаты, итеративно улучшать инструкции.
Требования
- Опыт работы с LLM: запуск языковых моделей в продакшн.
- Уверенное владение Python: PyTorch, Hugging Face, опыт с LangChain/LlamaIndex.
- Понимание специфики LLM: Prompt Engineering, оценка качества генерации и Eval, базовое понимание оптимизации инференса (vLLM и аналоги).
- Аналитическое и критическое мышление: разбирать сложные задачи на составляющие и находить неочевидные решения.
- Умение работать с данными: SQL для подготовки датасетов, базовое владение табличными данными (pandas, NumPy).
Условия
- Полное соблюдение ТК РФ, льготные условия по программам страхования, кредитования для сотрудников Банка;)
- График 5/2, офис на м. Кутузовская, гибрид;
- Достойный уровень вознаграждения (оклад + внушительная годовая премия);
- ДМС с первого дня работы и льготная мед. страховка для близких родственников;
- Социальная поддержка сотрудников;
- Возможность стать частью команды, реализующей программы цифровой трансформации банка - на основе передового опыта и инновационных идей;
- Широкие возможности для профессионального развития: корпоративный университет и множество онлайн-программ обучения. Корпоративное обучение за счет компании;
- Бесплатная подписка СберПрайм с возможностью подключения 3 родственников, многочисленные скидки и бонусы от партнеров: СберМаркет, МегаМаркет, Самокат, Еаптека и др.;
- Корпоративная пенсионная программа