大模型数据评测专家-AI数据与安全

1、参与大语言模型在不同垂类场景下的用户需求分析，设计并构建高质量评估集； 2、基于大语言模型的调用链路、工具使用、回复结果等信息，进行负面案例分析、错误定位与归因； 3、设计并完善大语言模型在基模、端到端、应用层场景下的自动化评估流程，包括数据预处理、Prompt设计、Agentic Workflow评估等； 4、沉淀评估方法论、评价标准和分析报告，推动模型能力与产品体验持续优化。

1、硕士学位及以上，具备良好的逻辑分析、数据分析或研究能力； 2、掌握Python，具备数据清洗、数据分析、数据预处理相关项目经验，熟悉SQL用法； 3、熟悉大模型评估方法，能够围绕不同场景设计评估框架、拆解评估维度、制定评分标准，具备评估集构建、负面案例分析或自动化评估相关经验者优先； 4、熟悉Agent的常见组件、编排流程及应用场景，如工具调用、规划、检索、记忆、长尾任务等； 5、具备良好的逻辑分析能力、沟通协作能力，能够清晰、准确地表达问题、结论和改进建议，对AI技术和大模型应用场景有强烈兴趣，具备主动探索、快速学习和持续迭代的能力； 6、英语水平流利，能用于日常工作交流。 加分项： 1、计算机、人工智能、数据科学、统计学、数学等相关专业背景； 2、达到下述任意小语种的C1及以上水平：印尼语、葡萄牙语（巴西）、阿拉伯语、越南语、马来语、泰语。