腾讯游戏-大模型推理性能优化工程师/专家
腾讯
北京校招IEG腾讯社会招聘(社招)
岗位职责
1.与大模型算法同学深度合作,联合优化,打造行业领先的高性能推理引擎,支持LLM/VLM/DiT等模型的高效部署;
2.推理性能极致优化、包括PD分离、低比特计算、并行优化、算子优化等,提升大规模分布式推理系统的整体效率;
3.支持主流GPU和异构AI芯片,优化大模型推理性能,打造极致性能成本优势。
任职要求
1.熟练掌握C/C++、Python编程语言,具备良好的coding和调试能力;
2.熟悉主流大模型推理框架,如vllm,sglang,tensorrt-llm等,具备语言、多模态模型大规模部署和优化经验;
3.熟悉并行策略,如数据并行、流水线并行等,熟悉NVLINK、GPU RDMA通信者优先;
4.熟悉各类深度学习网络和算子底层实现细节,有实操经验优先;
5.熟悉主流开源模型及其架构特点,具备针对不同模型进行分析优化的能力优先;
6.具备GPU、AI芯片体系结构知识,熟悉芯片特性,具备系统性能分析和调优经验优先。