大模型/Agent评测工程师-飞书Aily

1、设计与研发通用Agent、Code Agent的评测体系与评测方法，支撑模型与智能体的持续迭代与研发； 2、构建面向不同业务域的场景化评测体系，将真实业务流程抽象为可复现、可扩展的评测用例； 3、负责整体评测体系与评测框架的设计与演进，支持大规模、高效率的分布式评测执行； 4、研发大模型与Agent的评测框架与评测平台，支持评测流程标准化、评测结果分析与可视化展示； 5、设计并维护评测指标体系，覆盖模型与Agent的能力、稳定性、一致性与安全性等关键维度； 6、负责评测数据、评测样本与Benchmark的建设与治理，保障评测结果的客观性与可复现性；基于评测结果进行分析与诊断，定位模型或Agent在推理、规划、工具调用、代码执行等环节的问题，并输出改进建议。

1、计算机科学、人工智能、软件工程等相关专业，本科及以上学历； 2、对主流大模型的原理、能力边界及典型应用场景有较深入理解，熟悉大模型与Agent的常见评测方法； 3、对主流LLM/Agent评测体系有较好理解，如GAIA、AgentBench等，能够基于评测结果进行结构化分析； 4、具备良好的工程基础，能够参与或主导评测框架、工具或平台的设计与实现； 5、具备良好的业务理解能力、沟通与协作能力，逻辑思维清晰，学习能力强，能够推动评测体系在业务中的落地。