AI Agent效果优化工程师-Aime
字节跳动
上海校招字节跳动校园招聘(校招应届)
岗位职责
1、深度参与Aime的场景落地与效果优化,以评测思想为指导建立“发现问题-归因分析-策略调优-效果验证”的闭环,为Aime在各业务场景的最终效果负责;结合多样的效果衡量手段,开展高频的效果实验,通过精调Prompt、重构Workflow编排、优化RAG检索策略等方式,实现复杂多任务场景的性能指标快速提升;深入分析核心Agent产品的日常运转效果,将提炼出的优化结论直接转化为可落地的技术方案(如增强系统Prompt、优化API描述、增加容错逻辑等);
2、基于复杂业务场景构建高覆盖、高区分度的评测数据集与验收标准,不仅定义模型/Agent的“好坏”,更要精准定位其在意图理解、任务规划、工具调用等环节的负面案例根因;
3、持续追踪并深度拆解行业主流Agent产品,开展横向效果对比,不仅评估优劣,更要敏锐洞察产品在效果优化上的底层逻辑与前沿玩法,将其转化为Aime的效果提升策略;
4、沉淀Agent场景效果优化方法论,主动发现现有当前效果衡量与调优手段的盲区,持续迭代评估标准与优化链路,推动团队Agent综合能力持续保持业内领先。
任职要求
1、硕士学位及以上,计算机、人工智能、软件工程等相关专业,有大模型/LLM/Agent开发/评测、Prompt Engineering、RAG效果优化、对话系统调优相关经验优先;
2、聪明、学习能力强,能快速理解复杂Agent逻辑与业务场景,具备的逻辑思维与问题归因(Root Cause Analysis)能力,主动思考远多于被动执行;
3、自驱和执行力,追结果、不设限,对高质量有执念,对疑难负面案例死磕到底;
4、具备扎实的评测集构建与数据分析能力,能从海量数据中敏锐捕捉共性问题,并具备直接动手调优(如改写Prompt、调整工作流参数等)解决真问题的能力;
5、具备出色的产品观察与分析感知,对AI Agent赛道的行业动态保持高度热情,能熟练拆解并“逆向工程”市面优秀Agent产品的效果实现机制,知其然更知其所以然;
6、熟悉主流大模型生态,有扎实的代码功底;有自动化评测工具开发、模型调用或API调试经验者优先。