大模型训练优化工程师-Seed
字节跳动
北京校招字节跳动社会招聘(社招)
岗位职责
1、负责超大规模机器学习系统架构的设计开发,解决系统可扩展性、高可靠、可易用等关键技术;
2、负责机器学习系统前瞻技术的调研和落地,以前瞻视角实现业界最佳的超大规模训练方案;
3、与算法部门深度合作,进行算法与系统的联合优化,覆盖Pretrain、RL、新硬件适配等多个场景;
4、覆盖机器学习系统多个子方向领域的工作,包括分布式模型训练、高性能计算、数据管理、资源调度等。
任职要求
1、本科及以上学历,计算机、软件工程、人工智能等相关专业优先;
2、具备工程或机器学习算法领域的深厚功底和相关经验;
3、历史上解决过难题,遇到难题时能静下心,具备迎难而上的解决问题能力,能查到底层,观察敏锐,逻辑清晰;
4、由衷热爱技术,有强烈的工作责任心,较好的学习能力、沟通能力和自驱力;
5、良好的沟通协作能力,能和团队一起探索新技术,推进技术进步。
加分项:
1、熟悉LLM、NLP、CV、语音相关的算法和技术,熟悉大模型训练、Diffusion、RL算法者优先;
2、有以下某一方向领域的经验:高性能计算/CUDA,Torch.Compile/Triton/TVM等编译技术,RDMA/通讯库,异构加速硬件体系,分布式系统和大数据架构,系统算法联合优化。