Инженер данных (платформа ограничений)

Чем предстоит заниматься:

• Разработка технологии и программных инструментов потокового расчета признаков (фичей) для моделей машинного обучения.
• Эффективное взаимодействие в составе команды со специалистами по анализу данных и специалистами по развитию инфраструктуры.
• Реализовывать промышленные отказоустойчивые сервисы ETL на Python для пакетной загрузки и трансформации данных под управлением Apache Airflow, Argo Workflows.
• Разрабатывать сервисы потоковой обработки данных с использованием инструментов Spark Structured Streaming, Flink.

Наши пожелания к кандидатам:

• Высокий уровень знаний языка программирования Python – структуры данных, итераторы и декораторы, параллельное и асинхронное программирование, объектно-ориентированное и функциональное программирование.
• Отличные знания SQL – создание сложных запросов с использованием табличных выражений (CTE) и оконных функций.
• Общее понимание процессов разработки и эксплуатации моделей машинного обучения, понимание концепции признаков (фичей) моделей.
• Хорошие знания платформы Apache Spark – опыт использования библиотеки pyspark, влияние конфигурации приложения pyspark на производительность и эффективность обработки данных, отладка и анализ эффективности приложений pyspark с помощью Spark History Server.
• Опыт работы с Apache Kafka для решения задач потоковой обработки данных.

Что мы предлагаем:

• Стабильный и прозрачный доход: размер заработной платы обсуждается по итогам собеседования.
• Удаленный или гибридный формат работы.
• Среда для твоего неизбежного развития: тебя ждут сложные и интересные задачи с использованием большого массива данных, у нас регулярно проходят тренинги, вебинары, у тебя будет доступ к бесплатным корпоративным библиотекам Альпины и бизнес - изданий, скидки на курсы иностранных языков.
• Карьерный рост: ты будешь понимать, что нужно сделать для перехода на другой уровень;.
• Чувство локтя: у нас дружелюбная атмосфера и команда лучших профессионалов, которые готовы делиться с тобой экспертизой.
• Забота о твоем здоровье: программа ДМС, куда входит стоматология и обслуживание в лучших клиниках города, скидки на абонементы в фитнес-клубы, неформальные спортивные сообщества. Также есть фитнес-зал в офисе.
• Возможности для разнообразного досуга: скидки на услуги туристических агентств, продукты питания, в рестораны и бары, в магазины и салоны красоты.