LLM Engineer
Posted Updated 2
views
Summary
Supports and improves internal AI services at Bureau 1440: triaging user tickets, liaising with AI model vendors, and building a RAG-based support bot, plus Python (FastAPI/asyncio) backend services and Go integrations for collecting and processing user requests, with evals for answer quality.
Чем предстоит заниматься:
- Обеспечением технической поддержки AI-сервисов: разбором пользовательских обращений, диагностикой причин проблем, подготовкой и сопровождением ответов до полного решения.
- Взаимодействием с поставщиками AI-моделей и сервисов: оформлением заявок, контролем выполнения, сбором обратной связи и улучшением качества сервиса на основе инцидентов.
- Разработкой автоматических ответов и сценариев реагирования для типовых и повторяющихся запросов пользователей.
- Сбором тикетов из Jira, сервис-десков и мессенджеров и их структурированием в единые потоки задач.
- Созданием и развитием AI-бота с архитектурой RAG: настройкой системы ретривала, актуализацией базы знаний, формированием и контролем качества генерируемых ответов.
- Разработкой и поддержкой backend-сервисов на Python (FastAPI, asyncio): проектированием API, обработкой запросов, интеграцией с внешними системами и провайдерами.
- Разработкой высоконагруженных сервисов и интеграций на Go для сбора и обработки пользовательских обращений.
- Написанием автоматизированных тестов и проведением оценки качества ответов AI-бота и автоматических сценариев.
Мы ожидаем:
- Коммерческий опыт разработки на Python от 3 лет, из которых не менее 1 года — в автоматизации процессов, ML/AI-проектах или интеграционных решениях.
- Уверенное владение вторым языком программирования (предпочтительно Go) для разработки сервисов и интеграций.
- Практический опыт работы в технической поддержке или сервисных процессах: коммуникация с пользователями, обработка обращений, сопровождение задач до закрытия.
- Навыки взаимодействия с внешними поставщиками услуг: формулирование требований и заявок, контроль выполнения, передача обратной связи от пользователей.
- Умение структурировать входящие потоки информации и выстраивать процессы обработки тикетов и запросов.
- Глубокое понимание принципов работы LLM: токенизация, context window, temperature, structured output, prompt engineering.
- Опыт работы с фреймворком FastAPI и асинхронным программированием (asyncio): проектирование REST API, middleware, обработка ошибок.
- Опыт эксплуатации и оптимизации баз данных PostgreSQL и Redis.
- Базовые знания в области контейнеризации и оркестрации (Docker, Kubernetes), понимание архитектуры кластерных сред.
- Опыт разработки систем оценки (evals) и автоматизированных тестов для LLM-приложений.
Условия:
- Возможность выбора формата работы (гибрид/удаленка).