腾讯游戏-高性能算子优化工程师/专家
腾讯
深圳校招IEG腾讯社会招聘(社招)
岗位职责
1.负责大模型训练/推理相关算子的设计、实现与优化( CUDA/CUTLASS/Triton );
2.面向大模型训练和推理场景,对算子进行端到端性能分析与调优,持续挖掘吞吐、延迟、显存利用率等指标的优化空间;
3.参与或主导训推场景通信算子性能优化,能够设计通信与计算的overlap策略,实现计算通信并行,提升大模型整体训练/推理性能;
4.与分布式训练、推理、模型算法团队密切协作,共同提升大规模训推任务的整体效率与稳定性;
5.跟踪业界前沿的硬件架构与系统软件(GPU 架构、网络、编译器、库等),将最新技术转化为实际性能收益。
任职要求
1.计算机、软件工程、数学、电子信息、自动化等相关专业,本科及以上学历;
2.扎实的编程基础,熟练使用 C/C++,对代码质量与工程实践有较高要求;
3.熟练掌握 GPU 编程,有实际 CUDA 开发经验;熟悉 CUTLASS、Triton 等任一或多种算子开发/优化框架;
4.熟悉并行计算原理,对 GPU 体系结构(SM、Warp、Memory Hierarchy、Occupancy 等)有较深入理解;
5.熟悉分布式并行原理,能够设计和实现大模型训练/推理场景下的高效集合通信算子和通算融合算子;
6.具备良好的问题定位与性能分析能力,能熟练使用 Nsight、nvprof、perf 等性能分析工具进行瓶颈分析和优化。