数据工程师（算法集成与数据处理）

算法集成与任务化

• 对接算法团队和平台，将算法脚本接入平台并封装为任务或镜像，保证环境一致、可运行、可复现。
• 明确任务输入输出、依赖、运行参数、资源需求和版本规则，减少算法接入中的隐式约定。
• 使用真实数据验证集成效果，跟进算法版本更新，维护平台上的算法任务和兼容性。

工作流编排与数据处理

• 根据用户需求设计数据处理方案，使用平台任务和算法组装完整的数据处理工作流。
• 完成数据解析、格式转换、清洗、切分、采样、统计和聚合，输出下游可直接使用的数据。
• 负责批量任务调度、并行执行、重试和进度跟踪，处理依赖失败、数据异常和结果不一致问题。
• 沉淀可复用的处理模板、参数规范和操作流程，提高后续需求的响应速度。

平台协同与工程优化

• 与平台研发协作定位环境、镜像、调度、资源或数据链路问题，推动平台能力持续优化。
• 关注 CPU、GPU、内存、存储和网络资源使用，提升任务运行效率和批处理吞吐。
• 建立任务日志、质量检查、失败重试和交付验证机制，保证处理结果稳定可靠。

必要要求：

• 学历与经验：本科及以上学历，2 年以上数据工程、算法工程或相关经验。
• Python 工程能力：熟练使用 Python，具备良好的模块化、测试、版本管理、日志和异常处理习惯。
• Linux 与容器：熟悉 Linux 和 Docker，能够处理依赖、环境、镜像和运行一致性问题，了解 CPU/GPU 资源使用。
• 数据处理：具备大规模数据处理经验，能够设计稳定、可复用、可验证的数据处理流程。
• 任务调度：了解任务依赖、调度、并行处理、重试和失败恢复机制，能定位批处理链路中的性能和稳定性问题。
• 沟通协调：能够在算法、平台和业务之间对齐需求，将模糊需求转化为明确的执行方案。

满足以下任意经历均可加分，不要求全部具备：

• 具身智能数据：有机器人、自动驾驶或具身智能数据经验，熟悉 bag、mcap 等数据格式。
• 算法领域：了解感知、SLAM、点云、视频处理或其他大规模计算类算法。
• 数据交付：有数据集构建、标注质检、数据版本管理或数据交付经验。
• 工作流平台：熟悉 Airflow、Argo Workflows、Prefect、Kubernetes 或同类调度与编排工具。
• 性能优化：有 GPU 任务调度、并行计算、Ray、Spark、Arrow 或分布式数据处理经验。