大模型评测研发工程师-AI数据与安全

1、评测体系建设：参与大模型评测的工程基础设施的开发工作，包括评测集的接入、生产、管理，评测对象的链路采样，人评/机评能力建设，评估结果的分析等评测核心能力的开发工作； 2、评测Agent搭建：探索自动评测、高质量评测集构建等前沿评测方法，在评测场景搭建AI Agent，为评测业务提供端到端的高效、自动化的交付能力。

1、计算机或相关专业本科及以上学历，具备扎实的编程能力、数据结构与算法基础； 2、具备全栈（前后端、Agent）开发能力，能独立设计开发高性能、高可用的分布式系统，掌握常用的存储与中间件技术，了解前端开发框架，对常用的前后端开发语言有技术鉴赏和判断力； 3、熟悉大模型的原理及应用，具备Agent框架开发经验，能够设计并实现复杂的Agent系统用于解决具体的业务问题； 4、掌握大模型评测相关的关键技术，能够与算法、产品、运营、研发团队高效协作，有技术判断力，具备优秀的系统设计能力和问题解决能力，能够独立分析和解决复杂的工程问题； 5、有良好的业务及产品意识，能够将业务问题转化为定义明确的技术问题，并通过技术手段有效解决； 6、坦诚清晰、积极乐观，责任心强有负责人意识，工作认真细致严谨，具有优秀的团队沟通与协作能力，热爱技术，有较强的学习能力，有强烈的求知欲、好奇心和进取心，能及时关注和学习业界最新技术，对解决挑战性问题充满激情。 加分项： 1、对大模型技术及其应用有浓厚兴趣，有Agent及大模型评测体系建设经验、熟悉大模型训练、或熟悉LLM-as-a-judge相关经验者优先； 2、有Agent在复杂业务场景的落地经验或多Agent系统设计经验的优先； 3、积极参与开源社区，有相关贡献者优先。