Инженер данных
Summary
Engineer large video datasets from robotics ROS bag files, automate extraction and upload to cloud storage, and integrate with CVAT for labeling.
Обязанности:
- Настройка безопасного подключения к удалённым серверам с ROS bag-файлами
- Автоматизация поиска, фильтрации и передачи нужных `.bag` на локальные/облачные вычислительные ресурсы
- Извлечение видео из rosbag
- Отбор подходящих данных
- Загрузка итоговых видео/изображений и мета-информации в объектное хранилище (AWS S3 совместимое)
- Интеграция с платформой разметки CVAT
- Ведение каталога обработанных файлов
Обязательно:
- Хорошее владение Python
- Опыт написания асинхронных/многопоточных загрузчиков
- Опыт обработки больших файло
Будет плюсом:
- Опыт работы с ROS (1 или 2)
- понимание структуры bag, топиков, сообщений. Умение вытаскивать изображения, синхронизировать с другими сенсорами
- Опыт интеграции с S3 (boto3) — загрузка/скачивание, presigned urls
- Знание ffmpeg/OpenCV: конвертация последовательности изображений в видео с заданным кодеком, FPS
- Понимание метаданных: как хранить теги и быстро к ним обращаться (JSON lines, Parquet, и т.п.)
- Опыт работы с утилитами разметки с CVAT / Label Studio / Supervisely через их API
- Опыт написания ETL/пайплайнов для данных, не помещающихся в память
- Работу в аккредитованной ИТ-компании;
- Шаг в космос - для тех, кто вдохновлен идеей покорения космоса и мечтает быть к этому причастным;
- Возможность выбора формата работы (офис/гибрид);
- Комфортный современный лофт-офис в 5 минутах от метро "Улица 1905 года";
- Оформление в соответствии с ТК РФ;
- Конкурентный уровень заработной платы - на уровне лидеров ИТ/телеком-индустрии.