Agent效果评测工程师-Dev Infra

1、构建字节跳动软件工程开发真实场景下的效果评估体系，负责效果评估标准定义，构建高仿真评测集，设计科学客观的评估指标体系，结合业务场景开展效果评测工作； 2、结合业务场景价值，洞察效果改进点，对效果问题进行分析归因，协同策略PM和算法，推进效果提升，提升产品业务价值； 3、构建自动评测能力和洞察分析能力，引进和探索使用AI新技术，提升评测和洞察分析效率，整体促进产品的迭代效率； 4、关注行业动态和技术最新趋势和方法，及时引入新的技术和理念，探索并应用于真实业务场景。

1、本科及以上学历，计算机科学、人工智能、数学等相关专业，具备1年以上评测经验者优先； 2、具备优秀的编码能力，扎实的数据结构和算法功底，至少熟练掌握C/C++/Go/Python一种开发语言； 3、良好的沟通表达能力，对未知领域具备好奇心，有创新意识，良好的自驱力和解决复杂问题能力； 4、对大模型和Agent有较深入的理解，熟悉常见的LLM实施模式、评估框架等，了解Agent架构（Multi-Agent、Context Engineering、ReAct等）和协议（MCP、A2A、Function Call）； 5、具备Agent开发或复杂场景评测经验者优先，有AI技术论文发表、大模型评测或训练经验优先。