AI异构硬件推理优化专家-Seed

团队介绍：字节跳动Seed团队成立于2023年，致力于寻找通用智能的新方法，追求智能上限，为科技和社会发展作出贡献。 Seed团队在AI领域拥有长期愿景与决心，团队研究方向涵盖MLLM、GenMedia、AI for Science、机器人等，在中国、新加坡、美国等地设有实验室和岗位；目前，团队已推出业界领先的通用大模型以及前沿的多模态能力，支持豆包、即梦、TRAE等超过50个应用场景，并通过火山引擎开放给企业客户；第三方数据显示，豆包App用户量在中国市场排名第一，豆包大模型日均Token调用量行业领先。 1、该岗位面向超大规模AI加速卡集群，负责豆包Seed自研LLM模型的推理业务落地，深度参与分布式推理框架优化、高性能算子开发与在线稳定性建设，支撑豆包和火山引擎的大规模在线业务流量； 2、业务Serving上线：参与豆包Seed自研LLM模型在超大规模AI加速卡集群上的部署、适配、性能调优和稳定性建设； 3、推理框架优化：优化调度、Batching、KV Cache、显存管理、分布式并行、负载均衡、投机推理、稀疏计算和量化等核心链路； 4、高性能算子与通信优化：面向不同异构硬件ISA开发和优化Attention、GEMM、量化、通算融合等关键LLM算子。

1、计算机、软件工程、人工智能、电子信息、微电子等相关专业优先； 2、熟悉Linux环境下的C/C++或Python，具备扎实的编程能力和工程习惯； 3、熟悉计算机体系结构、芯片微架构、高性能计算、分布式系统、并行计算中的至少一个方向； 4、了解大模型推理基本流程，对Serving、调度、并发、显存管理、KV Cache或分布式推理有兴趣； 5、关注延迟、吞吐、带宽、算力利用率、显存占用、网络通信和在线稳定性等性能问题。 加分项： 1、有AI芯片性能优化经验，热衷于探索不同芯片或集群的性能边界； 2、熟悉常见的推理Serving技术栈，包括vLLM、SGLang、PagedAttention、投机推理等； 3、有CUDA、AscendC、TileLang、Triton、CUTLASS、TVM、MLIR、TorchInductor等相关经验； 4、具备以下经验：高性能算子开发、网络通信优化、推理引擎优化、在线服务性能优化或硬件适配； 5、有OI/ACM、HPC竞赛、系统竞赛、科研项目或开源项目经历。