大模型数据开发工程师

我们正在寻找一位充满激情、注重细节的大模型数据开发工程师。您将加入我们的核心 AI 团队，负责数据基建开发、维护工作，支持大规模数据集的管理、处理和清洗。这个职位将为您提供一个深入了解 AI 技术背后数据驱动流程的绝佳机会，并与顶尖的工程师和研究员一同工作。

• 与数据算法工程师协同，负责各类数据的管理、清洗、标注、整合和迁移流程的工程化、规模化落地，充分利用大规模算力和存储，确保数据交付速度满足模型训练和评估的要求。
• 建设、维护和管理我们的数据存储平台，持续优化数据交付链路和数据平台可用性、易用性，确保数据的有序、安全和高效访问。
• 快速定位并优化数据规模化处理过程中存在的速度瓶颈，识别并解决规模执行过程中出现的错误与异常，确保数据处理流程高效、稳定运行。
• 与数据算法工程师协同，执行数据质量检查，识别并报告数据中的问题和不一致性。
• 负责撰写和维护数据处理相关的技术文档和操作手册。

1. 熟悉计算机系统、操作系统原理、计算机网络、数据库、并行计算相关知识，并能应用于实际问题中。
2. 了解 Ray、Spark、Hadoop 等大数据处理工具，了解 Iceberg、Hive 等数据湖架构，了解关系型、非关系型等数据库原理和优化，了解 Parquet、Lance 等数据存储格式原理，了解对象存储、共享存储系统的原理与性能优化。
3. 具备数据处理、数据标注、大数据分析或并行性能优化相关项目经验。
4. 对工作有强烈的责任心，做事细致、有耐心，能够保证数据处理的准确性。
5. 具备良好逻辑分析能力，能够发现数据工程中可能存在的问题。
6. 拥有积极乐观的态度，具备出色的沟通能力和团队协作精神。
7. 熟悉 Linux/Shell 脚本，熟悉至少一种脚本语言（如 Python），并愿意学习新的数据处理工具。

加分项

• 对大模型、人工智能、机器学习或深度学习有基本了解者优先。
• 对语音、视频编解码原理和优化有了解者优先。
• 有使用 GPU、TPU 做数据处理经验者优先。