Agent评测专家-AI数据与安全

字节跳动

北京校招字节跳动社会招聘社招

岗位职责

1、负责Agent系统的全维度评测工作,覆盖文本生成、信息检索、多模态等多个能力方向,结合业务场景设计评测方案,统筹管理评测任务与外包资源,持续提升评测效率与质量标准; 2、重点负责Agent效果评估,聚焦工具调用(Skill)准确性、检索结果相关性、多模态内容理解质量、任务规划合理性、推理链完整性等核心评测维度搭建; 3、建立科学、多元的Agent评测方法论与指标体系,推进自动化评测框架落地,确保对Agent核心能力进行高效、精准评估,助力Agent模型核心能力持续提升; 4、深入理解业务场景、市场动态及Agent技术趋势,牵引数据团队与算法、产品团队深度融合,推动评测体系与业务需求、技术迭代同频; 5、输出高质量评测报告,沉淀评测方法论与最佳实践,为产品决策和技术优化提供数据支撑。

任职要求

1、本科及以上学历,专业背景多元开放——中文/新闻/传播、语言学、信息管理、图书情报、心理学、设计学、计算机等各类专业背景均可,具备跨学科知识储备与多元视角者优先; 2、1年以上AI产品、大模型或Agent相关评测/运营/产品经验,熟悉Agent工作原理与Skill/工具调用逻辑,对检索质量、多模态内容有较好的判断力,具备从评测设计到报告输出的完整经验者优先; 3、具备较强的逻辑推理与问题拆解能力,能搭建适配Agent能力维度的评估体系,擅长从评测结果中挖掘产品改善建议并推动落地; 4、熟悉Prompt Engineering核心方法论,有PE项目实践经验,对ReAct、CoT、RAG等概念有基础理解,对AI新技术保持好奇心与学习热情; 5、对Agent、GenAI领域充满热情,具备出色的文字表达能力与快速学习能力,具备良好的跨团队沟通与协作能力,能独立输出专业评测报告。
岗位信息来源于公开招聘渠道,仅作信息聚合展示。