微信-大数据 Infra 开发工程师
Description
在腾讯,后台开发工程师不仅是“又快又稳”的问题解决专家,更是生态共创者。你将与技术团队一同沉淀优质代码,让它成为我们共有的宝贵资产。在不同的业务场景和技术发展阶段,你的架构思维也将帮助更多协作团队拓展新的思考。我们也珍视你的挑战精神,同时欢迎你一起参与团队愿景、文化和产品方向的探讨。
1.负责微信底层数据基础设施的研发和优化,支撑BI、搜推广、大模型训练等业务场景的数据需求;
2.参与分布式计算引擎(Spark/Flink/Ray)的深度定制和性能优化,解决超大规模场景下的稳定性、性能和成本问题;
3.负责湖仓存储体系(Iceberg/Lance 等)的建设和演进,覆盖表格式、索引、元数据管理、数据治理等方向;
4.建设面向 AI 的数据处理链路,支持多模态数据的高效存储、检索和预处理,提升大模型数据生产效率;
5.跟踪业界大数据和 AI Infra 前沿技术,推动新技术在微信场景落地,并积极参与开源社区。
1.计算机或相关专业本科及以上学历,3~5 年大数据或分布式系统相关研发经验;
2.熟悉 Spark、Flink、Ray 中至少一种分布式计算引擎,了解其架构原理,有源码阅读、二次开发或性能调优经验;
3.熟悉 Iceberg、Lance 中至少一种湖仓格式,理解表格式设计、事务机制、文件组织和索引等核心原理;
4.编程基础扎实,熟练掌握 Java/Scala/C++/Rust/Python 中至少一种语言,具备良好的数据结构和算法功底;
5.有较强的问题分析和解决能力,有好奇心和技术追求,具备良好的沟通协作能力。