豆包AI大模型产品经理(评测方向)-火山方舟MaaS
字节跳动
北京校招字节跳动社会招聘(社招)
岗位职责
团队介绍:火山方舟是火山引擎推出的一站式大模型服务平台,是中国大模型市场产品和份额领跑者。平台提供模型推理、评测、精调等全流程服务。方舟搭载了豆包及业界主流大模型,提供丰富的插件生态和AI应用开发服务,并通过稳定可靠的安全互信方案、专业的算法技术服务,全方位保障企业级AI应用落地。
1、负责豆包AI大模型To B评测体系的顶层设计,定义评测维度、指标、标准和流程;
2、深入理解客户需求,将客户反馈转化为评测任务,确保评测结果真实反映客户使用效果;
3、建立模型对比分析机制,输出量化分析结论,以及原因拆解分析,能牵引模型优化;
4、深入研究重点行业业务流程,从业务视角设计有价值的行业评测方案;
5、跟踪全球前沿评测方法论(Benchmark设计、统计方法、Eval工具链),持续升级评测体系。
任职要求
1、本科及以上学历,硕士学位优先;计算机科学、软件工程、人工智能等相关专业;
2、优秀的文档能力和跨团队沟通能力,能清晰表达评测结论与改进建议。
加分项(具备一项或多项者优先)
1、有大模型评测经验,在大模型团队负责评测工作;
2、有金融、医疗、法律等垂直行业AI应用经验;
3、有使用AI相关工具的经验,包括不限于主流Agent和Vibe Coding工具;
4、有To B客户对接经验,理解企业级场景的评测需求。