Senior Data Engineer

Область и стек: Big Data/Data Engineering

Зарплатная вилка: Вилку не знаю и она в любом случае зависит от локации

Формат работы: Удаленка

О роли:
Мы в поисках Senior Data Engineer в AI Platform — одна из наших наиболее перспективных команд. Она отвечает за общую инфраструктуру и платформенный слой, на которых строится работа с AI во всей компании: от использования и оценки LLM до систем знаний и поиска, построенных поверх них.
Значительная часть работы связана с Data Engineering, поскольку нам необходимо перемещать, обрабатывать и осмыслять большой объем информации: анализировать использование и стоимость LLM (токены, кеширование, расходы), а также развивать прикладные системы, такие как контекстные базы знаний и векторный поиск.

Задачи:
Разрабатывать и развивать пайплайны данных и платформенный слой, от которого зависят AI-продукты компании;
Анализировать использование LLM: стоимость, экономику токенов и кеширования, финансовую отчетность по расходам на AI;
Развивать RAG-системы: контекстные базы знаний, инфраструктуру векторного и семантического поиска;
Обеспечивать эксплуатационную надежность платформы: профилирование, мониторинг и observability пайплайнов, за которые вы отвечаете;
Разрабатывать интерфейсы и сервисы поверх данных, а не только обеспечивать их загрузку: авторизацию, API и интерактивный доступ для пользователей данных.

Требования:
Сильный коммерческий опыт в Data Engineering с современным стеком: Databricks, dbt, Airflow, Dagster, Greenplum, Snowflake, или аналогичными технологиями;
Уверенное владение Python и понимание backend-разработки: как работает авторизация, как сервис предоставляется пользователям и как с ним взаимодействуют. Мы ищем Data Engineer, которому комфортно создавать интерактивные решения, а не только передавать готовые датасеты downstream-потребителям;
Практическое понимание профилирования и мониторинга data-систем в production;
Глубокое понимание AI/LLM-стека: векторных баз данных, embeddings, контекстного и семантического поиска, RAG-архитектур и принципов работы автономных агентов. Это команда AI Platform, поэтому нам важно концептуальное понимание этих технологий, а не только опыт использования AI-ассистента для написания кода;
Опыт работы с облачными технологиями, в идеале — AWS.

Стек:
PySpark, Databricks, dbt, Redshift, RDS, PostgreSQL;
AI: Claude, KimiK3, Codex с настроенными правилами репозиториев, растущим каталогом специализированных скиллов и агентских режимов под конкретные задачи. MCP-интеграции с внутренней инфраструктурой (GitHub, Asana, Amplitude и тд). Агентские воркфлоу покрывают весь цикл: от генерации игровых элементов и автотестов до автоматического создания и ревью PR.

Откликнуться на вакансию