Lead Prompt Engineer
Posted Updated
Description
Наш клиент - крупный банк.
Обязанности:
- Управлять промпт инженерами, распределять нагрузку, подключать на запуск новых агентов и контролировать написание промптов.
- Организовывать тестирование промптов перед каждым выпуском и принимать решение об их готовности на основе согласованных критериев качества.
- Разрабатывать единые правила и шаблоны промптов: голос ассистента, стиль общения, ограничения, использование контекста и памяти.
- Регулярно анализировать реальные диалоги и разбирать инциденты качества: выявлять причины ошибок, исправлять промпты и передавать технические дефекты ответственным командам.
- На запусках обучать аналитиков и разработчиков писать, изменять и проверять промпты.
- Вести очередь задач по промптам: принимать обращения, согласовывать приоритеты с руководителями развития навыков и контролировать сроки.
- Сокращать промпты и объём контекста, проверяя сохранение качества ответов.
- Развивать автоматизированные проверки совместно с техническими командами и контролировать надёжность используемых оценок.
- Опыт работы с системными промптами: написание промптов, проектирование инструкций, настройка поведения, управление контекстом и устранение противоречий.
- Создание Flow агента.
- Практический опыт создания и улучшения AI-ассистентов или других продуктов на базе языковых моделей.
- Умение выстраивать оценку качества ответов: формировать тестовые наборы, критерии проверки и ожидаемые результаты, выявлять ухудшения после изменений.
- Умение разбирать многошаговые диалоги с учётом истории, намерения клиента и возможностей навыка.
- Понимание принципов поиска по базе знаний, вызова инструментов, маршрутизации запросов и работы памяти ассистента.
- Опыт координации специалистов: планирование загрузки, постановка задач, проверка результатов и обучение.
- Умение работать с данными, находить повторяющиеся ошибки и проверять эффект исправлений.
- Оформление по ТК РФ, либо ИП.
- Удаленный формат работы.
- ДМС.
Sign in to read and join the discussion.