Agent数据&评测工程师/专家-Dev Infra
字节跳动
岗位职责
1、深入探索LLM在编程、个人助理等各种场景中的应用,支持TRAE、扣子等业务的端到端评测工作,Agent评测、调优和自迭代等相关工作;
2、制定评测标准,开发评测Agent,建设自动化评测基建,同时通过数据分析与算法改进,持续探索创新的评测方法;
3、构建大规模高质量的数据(数据建设、数据抓取与解析、数据合成等),提出更好的Benchmark,度量Agent和模型能力;
4、关注行业动态与技术趋势,及时引入新的技术和理念,跟随团队校企横向项目、学术论坛会议、发布论文等,协助团队构建学术界影响力。
任职要求
1、本科及以上学历,计算机科学、人工智能、数学等相关专业,具有1年以上大模型相关工作经验;
2、具备优秀的编码能力,扎实的数据结构和算法功底,至少熟练掌握C/C++/Go/Python一种开发语言;
3、有Agent开发或复杂场景评测经验者优先,在相关会议发表过论文者优先;
4、聪明且对探索未知领域有强烈兴趣,具备问题解决能力与自驱力者优先。