大模型服务治理工程师-Data AML
字节跳动
北京校招字节跳动校园招聘(校招应届)
岗位职责
1、参与方舟大模型训练、推理服务的稳定性治理和效率优化工作,优化超大规模异构推理集群下的大模型推理性能、成本和稳定性;
2、针对复杂的异构硬件、海量的集群资源、丰富的模型结构的排列组合问题,抽象和打磨高效率的部署链路和自动化的服务治理系统;
3、参与全球多地域、多控制面的面向集团内外的业务支持工作。
任职要求
1、熟练掌握C++,Python,Rust等一门或多门编程语言,编程风格良好,有框架设计和抽象能力;
2、对分布式系统、异构推理有浓厚兴趣,乐于解决问题,擅长用工程化、自动化的方式优化效率问题;
3、有一定的在线业务稳定性、成本治理优化经验;
4、具备良好的团队协作与沟通能力,有较强的责任心。