AI训练数据与评测专家-AI数据与安全

1、负责大语言模型在知识、联网搜索、生产力等场景下的训练数据建设与模型评测工作，支持SFT、RL、偏好数据及专项能力数据的生产和迭代，深入理解不同业务场景及用户需求，设计训练数据方案和评估方案，包括数据挖掘、数据构造、清洗去重、标注规范制定、质量验收及评估集建设，分析训练数据的分布、覆盖度、多样性及质量问题，识别数据偏差、能力缺口和长尾场景，持续优化数据配比、生产策略和质量标准； 2、基于大语言模型的调用链路、检索结果、工具调用、模型回复及中间过程等信息，开展负面案例分析、错误定位与根因归类，判断问题来源于训练数据、模型能力、策略、检索或工程链路，结合模型实验结果，分析不同数据批次、数据类型及训练策略对模型效果的影响，闭环验证数据有效性，推动训练数据持续迭代； 3、设计并完善训练数据和模型评测的自动化流程，包括数据预处理、Prompt设计、数据合成、自动化打标、质量检查、结果聚类及分析报告生成等，提升数据生产和评估效率； 4、作为项目POC，与算法、产品、策略及数据团队紧密协作，负责需求澄清、方案设计、项目排期、资源协调、质量验收、风险管理及结果交付； 5、沉淀训练数据方法论、评估框架、错误分类体系、质量Rubric、项目SOP及分析模板，推动数据能力、评估标准和自动化工具复用。

1、本科及以上学历，计算机、人工智能、数据科学、统计学、数学、语言学等相关专业背景优先，英语可作为日常工作语言； 2、掌握Python，具备数据清洗、数据分析、数据预处理或自动化脚本开发经验，熟悉SQL的常见用法； 3、熟悉大模型训练数据流程，了解SFT、RL、偏好数据等常见数据类型，具备数据挖掘、数据构造、标注质检、数据验收或模型训练数据项目经验；熟悉大模型评估方法，能够围绕不同场景设计评估框架、拆解评估维度、制定评分标准，具备评估集构建、负面案例分析或自动化评估经验； 4、能够结合模型实验结果分析数据价值，识别数据问题、能力短板及优化方向，推动训练数据和模型效果形成闭环；对大模型、搜索、知识问答或Agent有一定理解，熟悉工具调用、规划、检索、记忆及工作流编排等常见组件和应用场景； 5、具备较强的项目运营和项目管理能力，能够独立承担项目POC，协调多方资源并推动复杂项目落地；具备良好的逻辑分析、问题拆解、沟通协作和文档沉淀能力，能够清晰表达问题、结论及改进建议； 6、具备较强的自驱力和学习能力，对AI技术和大模型应用场景有强烈兴趣，能够主动探索并快速适应业务变化。