元宝-LLM大模型推理工程师

1.参与服务业务场景的llm大模型部署、运维、推理优化开发等相关工作； 2.负责推理加速方法的工程实现和落地，包括但不限于模型剪枝、模型量化、动态batch等方法； 3.调研前沿技术，推动稀疏化推理、异构推理、分布式推理等技术在搜索业务中的集成应用。

1.熟练掌握 C++/Python/Go语言，有2年以上llm大模型推理优化经验； 2.具备基础的GPU编程能力，包括但不限于Cuda、OpenCL；熟悉至少一种GPU加速库，如cublas、cudnn等； 3.有Tensorrt/Triton/sglang/vllm等推理框架的实际使用经验及二次开发经验； 4.熟悉量化、剪枝、动态Shape、算子融合等优化方法的基本原理和适用场景； 5.熟悉分布式推理常用加速方法，有超大模型分布式部署经验优先； 6.具备较强的抗压能力、团队协作和沟通能力，能够高效，完成项目交付和技术创新。