训练高性能计算工程师-Seed

团队介绍：字节跳动Seed团队成立于2023年，致力于寻找通用智能的新方法，追求智能上限，为科技和社会发展作出贡献。 Seed团队在AI领域拥有长期愿景与决心，团队研究方向涵盖MLLM、GenMedia、AI for Science、机器人等，在中国、新加坡、美国等地设有实验室和岗位。目前，团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、即梦、TRAE等超过50个应用场景，并通过火山引擎开放给企业客户。第三方数据显示，豆包App用户量在中国市场排名第一，豆包大模型日均Token调用量行业领先。 1、负责大规模训练系统中的关键高性能算子的设计与实现； 2、针对不同AI加速器的硬件架构，对训练算子性能做极致的性能优化； 3、针对大模型训练系统中不同分布式并行的特点，实现针对计算和通信的极致优化； 4、算法和工程的联合设计，追求系统性能和算法效果的最优平衡点。

1、掌握C/C++，精通Python，熟练掌握PyTorch； 2、熟悉CUDA编程，熟悉NVIDIA或其他加速器硬件架构细节和优化点； 3、熟悉Triton/TVM/Torch.Compile等编译工具； 4、熟悉Nccl或Nvshmem通信算子的底层实现，熟悉主流的RDMA/NVLINK的通信拓扑； 5、熟悉主流文本大模型/多模态大模型/Diffusion类模型架构以及训练方式。 加分项： 1、精通CUTLASS/Cute dsl开发； 2、对Flash Attention的实现有深入的理解和开发调优经验； 3、有Triton/Tilelang等编译框架底层优化经验； 4、有通信/计算Overlap算子的开发经验。