大模型云服务推理优化算法研究
京东
北京校招京东科技京东校园招聘(专项计划)
岗位职责
1. 运用高性能注意力机制、模型压缩、并行解码、算子融合及计算通信重叠等软硬件一体化优化技术,构建并持续突破高吞吐、低延迟的极致推理能力,确保大模型推理效能处于行业领先地位;
2. 针对海量业务增长需求,深入探索并落地PD分离(Prefill/Decode分离)、弹性容量管理、负载均衡及异构算力调度等核心技术,打造AI原生服务架构,实现系统的高可用性与服务成本的最优平衡;
3. 积极探索AI前沿算法与底层架构创新,通过在国际顶级学术会议发表论文或参与社区开源共建等方式,沉淀技术价值,全方位提升团队在AI基础设施领域的影响力。
任职要求
1. 获得本科及以上学历,计算机科学或相关STEM领域相关专业;
2. 深入理解大语言模型基础,熟练掌握vLLM、SGLang、TensorRT-LLM等主流推理框架,具备机器学习系统(MLSys)全栈优化经验;
3. 对技术研究充满热情,具备卓越的创新思维、独立科研能力及问题解决能力;
4. 在人工智能领域顶级学术会议或期刊上有高质量论文发表记录,或具备知名企业相关研发实习经验者优先。