豆包AI大模型评测工程师-火山方舟MaaS

团队介绍：火山方舟是火山引擎推出的一站式大模型服务平台，是中国大模型市场产品和份额领跑者。平台提供模型推理、评测、精调等全流程服务。方舟搭载了豆包及业界主流大模型，提供丰富的插件生态和AI应用开发服务，并通过稳定可靠的安全互信方案、专业的算法技术服务，全方位保障企业级AI应用落地。 1、深入理解豆包AI大模型To B客户需求，将客户反馈转化为评测任务，确保评测结果真实反映客户使用效果； 2、基于真实业务场景构建端到端评测Pipeline（含Agent工具调用、RAG检索、多轮对话等复合链路）； 3、从实际使用视角设计评测案例——模拟客户真实Workflow，评估模型在完整工作流中的表现； 4、设计Agent和Coding场景的过程评测指标（如工具调用准确率、代码通过率、多步规划成功率等），能拆解模型每一步的效果； 5、实现评测自动化，在AI工具的帮助下，实现To B复杂场景的评测自动化。

1、本科及以上学历，硕士学位优先；计算机科学、软件工程、人工智能等相关专业； 2、对主流Agent和Vibe Coding工具非常熟悉，有丰富的使用经验； 3、对主流大模型（GPT系列、Claude系列、开源模型）有深入使用经验，熟悉各模型能力边界； 4、有数据分析能力，能从评测数据中发现Pattern、定位问题根因； 5、较强的自驱力，能主动提出新的思路，并推动落地执行。