多模态大模型数据工程技术专家 - Data-抖音/直播/电商/剪映
Description
团队介绍:Data-架构团队是字节跳动的核心技术引擎,为抖音、今日头条、番茄小说、剪映等旗舰产品构建大规模、高可用、可持续演进的推荐、搜索与广告工程架构。团队深耕推荐架构、搜索架构、广告架构、机器学习基础设施、在线服务架构与稳定性工程等领域,在千亿乃至万亿级数据规模、超大流量与复杂业务逻辑的真实工程挑战中,持续以技术创新驱动人与信息、人与服务的高效连接,服务全球数亿用户。
目前,团队正积极探索搜广推架构下一代范式:从大规模在线预估框架到生成式推荐大模型的训练、后训练与端到端推理,从分布式异步图引擎、统一数据编排到平台化业务策略与 Infra Research,让大模型真正落地于亿级流量的真实在线系统。欢迎热爱分布式、AI 大模型、搜广推架构的同学加入。
1、参与VLM/视觉扩散模型模型训练环节的数据生产工作;
2、负责和参与上述场景数据处理Pipeline的框架搭建和优化工作,并通过平台化建设持续提升数据处理效率、自助化程度和易用性;
3、负责十亿级别高质量多模态数据的回流、清洗与血缘管理,建设数据飞轮提升高质量后训练数据集规模;
4、与算法深度合作,参与前沿模型研究中数据解决方案开发和维护,不断提升训练数据质量和规模,提升模型后训练效果。
1、本科及以上学历,计算机、人工智能、软件工程等专业优先;
2、具备3年及以上数据处理或模型训练工作经验,熟练掌握文本、多模态等非结构化数据处理方法,熟悉数据清洗、特征提取和数据增强等技术,能够解决数据工作中各种问题;
3、精通Python、Golang、Java等至少一种编程语言,具备良好的编码能力和代码质量意识,熟悉常用的数据处理、文本处理和图像处理库,能够高效地实现数据清洗和处理的算法和流程;
4、掌握大数据开发相关工具,如Spark/Flink/Hadoop/Ray等,具备丰富的数据建模以及数据架构经验,能够对结构化和非结构化数据场景进行统一的建模;
5、具备优秀的分析问题和解决问题能力,勇于挑战困难问题,具备良好的团队协作意识,有图片和视频等多媒体数据处理平台架构建设经验者优先。
Skills
Sign in to read and join the discussion.