网页搜索数据负责人
Description
1. 负责网页搜索数据方向的规划与团队建设,对数据覆盖、时效、质量、稳定性和成本等核心结果负责。
2. 主导全网数据抓取平台的架构设计与演进,覆盖通用网页、动态页面及垂直定向抓取,建设抓取调度与压力控制策略,持续提升抓取成功率与抓取效率。
3. 主导页面解析与内容理解链路的建设与演进,覆盖正文抽取、结构化信息抽取、内容质量识别,持续提升解析准确率与覆盖度。
4. 建立数据质量的度量与治理机制,定义覆盖、时效、准确率等核心指标,并驱动全链路持续优化。
5. 围绕业务目标,联合算法、架构与产品团队定位并补齐数据缺口,以数据供给的改进带动搜索效果提升。
1. 计算机相关专业本科及以上学历,5 年以上搜索或数据平台研发经验,有团队管理或技术负责人经验者优先。
2. 具备扎实的计算机基础和编码能力,熟练掌握 C++、Go、Java 中至少一门;深入理解分布式系统,把握关键架构与技术路线,解决复杂工程问题。
3. 主导过大规模网页数据抓取或搜索数据平台建设,对抓取与解析链路有系统理解,具备从方案设计到规模化落地和持续演进的完整经验。
4. 具备大规模分布式数据处理系统建设经验,深入理解 Hadoop 生态,熟悉 HBase、Flink、Spark 等主流大数据技术,有海量数据场景下的性能与成本优化实践。
5. 具备清晰的技术判断力和跨团队推动力,善于拆解目标、定义指标,带领团队持续交付结果。
6. 深度使用 AI Coding 工具,有在团队内推动 AI 提效落地的实践经验者优先。