AI Data Engineer

Мрія — державна освітня екосистема для учнів та учениць, батьків чи опікунів і вчителів, що надихає вчитися та допомагає знайти себе в сучасному світі. Це ініціатива Президента України, яку реалізують Мінцифри та МОН за підтримки Програми EGAP, що виконується Фондом Східна Європа коштом Швейцарії.

Шукаємо Data Engineer в AI-команду Мрії. Ви будуватимете й масштабуватимете пайплайни даних, на яких працюють наші AI-сервіси: від оцінювання якості згенерованих тестів до моделювання рівня знань учнів та учениць. Це роль на стику інфраструктури, даних і ML.

Наша команда шукає фахівця чи фахівчиню, яка:

• Має від 3 років досвіду в Data Engineering

• Впевнено володіє Python і SQL, вміє оптимізувати запити й читати плани виконання

• Будувала й оптимізувала пайплайни на оркестраторах (Airflow, Dagster, Prefect або аналогах)

• Має практичний досвід роботи з Kubernetes: розгортання сервісів, Helm-чарти, налаштування ресурсів і масштабування

• Розуміє архітектури зберігання даних: data lake, warehouse, lakehouse, medallion, а також підходи до моделювання даних

• Має досвід масштабування баз даних під великі обсяги: партиціювання, індексація, реплікація, вибір між OLTP- та OLAP-рішеннями

• Працювала з хмарними платформами, переважно Google Cloud (BigQuery, GCS);

• Вміє налаштовувати контроль якості даних: перевірки, валідацію схем, data contracts

• Готова чи готовий глибоко занурюватися в предметну область і реалізовувати доменні метрики та складні обчислення;

• Має вищу освіту.
  
  

Буде перевагою:

• Досвід роботи зі Spark/PySpark і розподіленою обробкою даних

• Досвід інтеграції ML-моделей у пайплайни: батч-інференс, LLM-інференс (vLLM тощо), а також розуміння принципів роботи моделей, їхніх обмежень і вартості;

• Знання табличних форматів Delta Lake або Apache Iceberg

• Досвід роботи з dbt

• Досвід роботи з векторними та графовими базами даних (Qdrant, Neo4j)

• Навички роботи з Terraform і CI/CD (GitLab CI)

• Практичне знання інструментів observability: Prometheus, Grafana, а також LLM-телеметрії (Arize Phoenix)

• Досвід роботи з власною (on-prem) інфраструктурою

• Знання статистики та досвід роботи з освітніми даними.
  
  

Чим ви будете займатися:

• Проєктувати й будувати пайплайни даних для AI-сервісів Мрії: від сирих даних до готових датасетів і метрик

• Розвивати пайплайн офлайн-оцінювання якості згенерованих тестів: розрахунок метрик, тріаж, доставку результатів у продукт

• Інтегрувати ML-моделі та LLM-інференс у пайплайни обробки даних

• Проєктувати зберігання даних з урахуванням зростання системи до тисяч шкіл і мільйонів користувачів

• Узгоджувати стандарти даних із різними командами.

Що ми пропонуємо:

• Повну зайнятість у проєкті, важливому для майбутнього освіти в Україні

• Роботу в офісі протягом перших двох місяців (є укриття); далі — можливий гібридний формат

• Змогу долучитися до команди професіоналів, які змінюють освітню систему України

• Участь у створенні продукту, що впливає на майбутнє покоління

• Можливість бронювання.

Умови роботи в команді Мрії:

• Повна зайнятість.

• Перші два місяці — робота в офісі в Києві (є укриття), надалі — гібридний формат.

• Офіційне працевлаштування.

• Бронювання за наявності актуальних військово-облікових документів (ВОД).

• Робота над важливим для України проєктом.

Етапи найму: Співбесіда з HR —> технічна співбесіда.

Якщо ця вакансія не для вас, але ви знаєте відповідну людину, порекомендуйте її, будь ласка 💙