Data Engineer
Summary
Senior Data Engineer builds and scales distributed data pipelines in Scala/Spark to feed a confidential ML platform used by 80% of Russia’s banks.
Мы разрабатываем платформу конфиденциального машинного обучения и высоконагруженные сервисы данных, создающие конкурентное преимущество для бизнеса в области финтеха. Нашими продуктами пользуются 80% банковского сектора России. Мы ищем старшего разработчика на Spark и Scala для участия в создании платформы машинного обучения
Чем предстоит заниматься
- Осуществлять миграцию сервисов платформы на новые версии библиотек Scala/Spark
- Разрабатывать промышленные сервисы распределенной обработки данных для поставки данных на платформу машинного обучения
- Анализировать производительность и масштабировать продукты под возрастающую нагрузку
- Участвовать в дизайне архитектуры и принятии технических решений
- Устранять аварии и обеспечивать SLA сервисов на необходимом уровне
Что для этого нужно
-
Опыт разработки на Scala от 3 лет
-
Опыт работы со Spark от 2 лет
-
Понимание принципов оптимизации обработки данных (знание форматов хранения данных, понимание принципов работы join и т.д.)
-
Понимание архитектуры и принципов работы Spark-приложений
Будет плюсом:
- Знания особенностей Spark разных версий
- Опыт проектирования или работы с современными MLOps платформами
- Опыт работы с базами данных Cassandra, Scylla etc.
*Трудоустройство в аккредитованную ИТ-компанию ООО «ЕдиныйФактор"