大模型评测专家（世界模型方向）-AI数据与安全

1、联动世界模型算法和产品团队，负责世界模型在游戏开发等方向的能力评测，参与评测体系设计与方法论建设：构建科学的评测体系、评测方法和评测流程； 2、快速协调相关部门搭建或完善评测平台工具，提升评测效率，降低评测成本；独立负责数据供应商管理，协调相关部门按时完成模型评测任务； 3、分阶段推进评测自动化，搭建基于主流Agent框架（LangChain、LlamaIndex、AutoGen、CrewAI、OpenAI Agents SDK、MCP协议等）的自动化评测流水线，支持大规模、可复现的模型能力基准测试； 4、依据评测数据，撰写评测报告，指导算法和产品团队调整模型迭代方向。

1、本科及以上学历，计算机科学、人工智能、自然语言处理、机器学习等相关专业优先，有游戏制作运营测评经验者优先； 2、良好的逻辑思维和理解能力，能将模糊的业务需求转化为清晰、可量化、可执行的评测方案，具备从真实业务中抽象评测任务的能力； 3、有评测经验，熟悉主流LLM、VLM模型评测的主要评测标准，有Agent评测实战经验，有通过强模型进行自动化评分的实践经验； 4、热爱游戏，游戏面广，包括国内外Steam游戏，主机游戏，App游戏、小游戏；愿意花大量时间体验游戏。