智能系统评估研究科学家-Commercial AI

1、我们正在构建面向大模型与Agent的智能系统评估体系，关注如何更可靠地定义、测量、解释和比较智能系统能力； 2、研究科学家的核心职责是回答什么值得被测量、应该如何解释，以及结论成立的边界在哪里；你将参与定义核心能力、评估对象边界和评估结论的解释框架，将抽象能力与决策质量转化为可测量的评估目标、证据链和评分原则，并基于测量理论设计评估任务、评分规则和结果解释方式；你也会参与建立能力、任务、情境、风险等结构化描述，与算法、工程、产品和业务团队协作，将评估方法落地为可执行、可扩展的评估体系； 3、在日常工作中，你会阅读真实负面案例、分析评分分歧，并把具体问题抽象成更稳定的能力定义；你也会和研究员、工程师一起讨论某个能力该不该测、怎么测、什么证据足够支持结论，并在不完美数据、不一致判断和模糊业务目标下建立更经得起推敲的评估规则。

1、心理学、教育测量、统计、数学、物理、语言学、认知科学等定量/理论学科相关专业； 2、系统掌握测量理论与方法，在效度、信度、一致性、偏差控制、评分设计等方向受过专业训练； 3、具备扎实的形式化建模、统计推断与评估设计能力，可将抽象能力转化为可检验评估框架； 4、能将理论问题转化为结构化评估方案与工程可落地规则，熟悉实验设计与不确定性分析； 5、专注于智能系统、对话Agent、复杂决策系统的评估研究，有AI评估、自动评分经验者优先； 6、具备优秀书面表达与跨学科协作能力，熟悉IRT、贝叶斯、因果推断及大模型相关经验优先。