代码AI效果评测产品经理-抖音AI

团队介绍：抖音AI团队主要负责抖音项目以及团队内的AI落地相关基础建设工作。我们的职责是用前沿的AI技术去赋能抖音应用以及抖音团队。我们希望在AI技术的加持下，能够更好的给抖音用户带来更好的信息消费体验，也能够让抖音这个大型组织能够更加高效的运转，从而更加及时的满足用户的各项诉求。团队主要负责抖音AI基础建设，包括但不限于模型训练、Agent相关的工程链路开发、通用Agent工具抽象以及AI Native的各类产品开发工作。AGI信仰强，以发展成为AI Native组织为目标，努力拓展传统协作模式的职责边界，充分给同学们提供自身探索的空间。 1、构建代码大模型与Agent在抖音前端、服务端、客户端软件工程开发真实任务场景下的效果评估体系，定义效果评测集、评估标准、指标体系，产出评测结论与归因分析，推动效果迭代，探索代码Agent的效果上限； 2、协同研发、测试、数据科学等团队，基于产品定位、用户反馈、离线评测、AB实验和日志观测等方式，识别效果缺陷与改进机会点，给出可执行的优化方向与评估策略； 3、跟进工业界和学术界的最近评测研究与方法论，结合真实研发需求场景迭代评测方案，探索更反映真实开发者用户体验和价值的评测方法。

1、本科及以上学历，软件工程、计算机、电子信息工程、人工智能、数据科学、统计学、数学等理工学科背景，3年以上模型策略或评测产品相关经验，有前端、服务端、客户端研发经验及AI评测产品经验者优先； 2、具备结构化分析与复杂问题拆解的能力，对数据和指标体系敏感，能基于实验、日志、线上表现快速定位模型问题，并熟练制定合理的验证方案与评测集； 3、对AI技术发展有兴趣或基础理解，跟进最新研究论文/直接体验产品，并将其转化为评估与产品改进思路； 4、具备创新意识，具备较强的好奇心、自驱力和结果导向意识，主动承担有挑战性的任务，推动复杂问题落地。