DS/ ML-инженер / исследователь (LLM-агенты, GigaChat)
Posted Updated 8
views
Summary
DS/ML engineer-researcher on Sber's SberKids team building the SberCat agent on the GigaChat LLM. Day to day: designing LLM agent logic and tool calling, RAG pipelines, fine-tuning (LoRA/QLoRA), quality evals/LLM-as-a-judge, and dataset creation/annotation — hybrid from the Moscow office.
Мы — команда СберKids, которая разрабатывает агента СберКот на базе LLM GigaChat. Направления работы: разработка агентов, LoRA-адаптеры, оценка качества LLM и агентов, RAG, разметка и создание датасетов, LLM-as-a-judge. Мы работаем на стыке исследований и продакшена: от гипотезы и эксперимента до надёжного решения.Разработка агентов на LLM
* Проектировать логику рассуждений и поведения ИИ-агентов на базе GigaChat: планирование, рассуждение, управление памятью и контекстом.
* Настраивать вызов внешних инструментов (Tool Calling, API, SQL-скрипты) под задачи домена.
* RAG-системы
* Проектировать архитектуру контекстного поиска ответов по сложным документам и структурированным данным, оценивать качество ретривала и генерации.
* Адаптация моделей
* Дообучать и адаптировать модели под задачи команды: Fine-tuning, LoRA/QLoRA, подготовка данных для обучения.
* Eval и качество
* Разрабатывать и внедрять методы оценки LLM и агентов: метрики, бенчмарки, LLM-as-a-judge, Guardrails.
* Анализировать корзину запросов и результаты ответов, выявлять ошибки и галлюцинации, согласовывать метрики с бизнесом и защищать подходы на понятном языке.
* Работа с разметкой и данными
* Создавать датасеты для обучения, оценки и разметки, готовить инструкции для разметчиков.
* Работать с разметчиками: контролировать качество, интерпретировать результаты, итеративно улучшать инструкции.* Опыт работы с LLM: запуск языковых моделей в продакшн.
* Уверенное владение Python: PyTorch, Hugging Face, опыт с LangChain/LlamaIndex.
* Понимание специфики LLM: Prompt Engineering, оценка качества генерации и Eval, базовое понимание оптимизации инференса (vLLM и аналоги).
* Аналитическое и критическое мышление: разбирать сложные задачи на составляющие и находить неочевидные решения.
* Умение работать с данными: SQL для подготовки датасетов, базовое владение табличными данными (pandas, NumPy).* Полное соблюдение ТК РФ, льготные условия по программам страхования, кредитования для сотрудников Банка;)
* График 5/2, офис на м. Кутузовская, гибрид;
* Достойный уровень вознаграждения (оклад + внушительная годовая премия);
* ДМС с первого дня работы и льготная мед. страховка для близких родственников;
* Социальная поддержка сотрудников;
* Возможность стать частью команды, реализующей программы цифровой трансформации банка - на основе передового опыта и инновационных идей;
* Широкие возможности для профессионального развития: корпоративный университет и множество онлайн-программ обучения. Корпоративное обучение за счет компании;
* Бесплатная подписка СберПрайм с возможностью подключения 3 родственников, многочисленные скидки и бонусы от партнеров: СберМаркет, МегаМаркет, Самокат, Еаптека и др.;
* Корпоративная пенсионная программа