Java-разработчик
Summary
Java developer builds and maintains high-load data pipelines for content recommendation, search, and ads, using microservices and ML models to process millions of texts and videos daily.
Команда AI VK строит контентную систему для рекомендаций, поиска и рекламы. Твоя задача — разработать и поддерживать высоконагруженные пайплайны обработки данных, которые ежедневно обрабатывают миллионы текстов и видео. Ты будешь создавать микросервисы на Java, которые применяют ML-модели, агрегируют данные из разных источников и доставляют их в системы ранжирования с минимальной задержкой.
Задачи
- Разработка пайплайнов обработки данных: создание и вывод в прод сервисов для поисковых вертикалей и рекомендаций
- Микросервисная архитектура: разработка и поддержка высоконагруженных сервисов на Java
- Платформизация DWH: участие в проектировании и реализации архитектуры контентного хранилища данных (Data Warehouse) от концепции до реализации
- Интеграция с ML: внедрение и оптимизация ML-моделей в пайплайны обработки данных
- Оптимизация производительности: обеспечение минимальных задержек при доставке контента в сервисы дистрибуции
- Работа с Big Data: обработка больших объёмов данных в батч-режиме и поточно (streaming)
- Взаимодействие с командами: тесная работа с Data Scientists, аналитиками и разработчиками других сервисов
Требования
- Опыт промышленной разработки на Java от трёх лет
- Опыт работы с распределёнными системами и базами данных высокого уровня
- Навыки работы с Big Data: опыт обработки больших объёмов данных в батч-режиме и потоково
- Понимание принципов микросервисной архитектуры и высоконагруженных систем
- Умение работать в команде и решать сложные архитектурные задачи