大模型安全与对齐研究工程师 - Seed Model

团队介绍：字节跳动 Seed 团队成立于 2023 年，致力于寻找通用智能的新方法，追求智能上限，为科技和社会发展作出贡献。 Seed 团队在 AI 领域拥有长期愿景与决心，团队研究方向涵盖 MLLM、GenMedia、AI for Science、机器人等，在中国、新加坡、美国等地设有实验室和岗位。目前，团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、即梦、TRAE 等超过 50 个应用场景，并通过火山引擎开放给企业客户。第三方数据显示，豆包 App 用户量在中国市场排名第一，豆包大模型日均 Token 调用量行业领先。 1、安全与对齐训练：研究SFT、偏好优化、强化学习及可扩展监督方法，改进训练数据、奖励设计与优化目标，降低欺骗、奖励投机和越权行为，提升安全能力在新任务及后续训练中的泛化与保持； 2、Agent安全与可控性：研究模型在工具调用、代码执行、浏览器操作和长程任务中的行为边界，提升授权判断、风险识别与适时停止能力，在降低风险的同时保留有效自主性； 3、前沿风险评估与防护：针对CBRN、网络安全等领域，与领域专家合作开展危险能力评测、威胁建模及防护研究，为模型研发和部署决策提供实证依据； 4、自动化红队与对抗训练：构建自动攻击生成、迭代搜索及攻防训练方法，提升模型对越狱、提示注入和其他对抗输入的鲁棒性； 5、监控与可扩展监督：探索基于输入输出、执行轨迹、推理链及内部表征的风险检测方法，研究监督模型、动作审查和权限控制机制，评估其有效性、可规避性及部署成本； 6、失效机制研究与落地：将真实失败案例转化为可复现的实验，通过对照与消融分析识别原因，与预训练、后训练、基础设施及产品团队合作，将有效方法应用于大规模训练和部署。

1、具备扎实的机器学习、深度学习及统计分析基础，有大模型、强化学习或相关方向的研究或工程经验； 2、熟练使用Python和PyTorch等框架，能够独立实现算法、构建实验流程，并定位数据、训练与评测中的问题； 3、能将开放、模糊的模型行为问题转化为可检验的假设，独立推进实验、分析结果，并清晰说明结论与局限； 4、在模型训练、数据构建、Agent系统、评测或机器学习基础设施中，至少一个方向具备深入实践； 5、认同安全与能力共同发展的方向，愿意持续研究复杂、尚无标准答案的问题； 6、具备良好的沟通与协作能力，能够与不同背景的研究、工程及领域专家共同推进项目。 加分项 1、有SFT、RLHF／RLAIF／RLVR或分布式训练经验； 2、有Agent RL、长程任务环境、多智能体训练或自动化红队经验； 3、有AI Control、可扩展监督、推理链监控、机制可解释性或提示注入防御研究经验； 4、有CBRN、网络安全等高风险领域的评测或防护经验； 5、高质量研究成果、开源项目，或将研究方法落地到实际系统的经历。