多模态大模型生成式搜推范式应用探索
京东
岗位职责
1. 研发多模态商品理解模型,融合图像、文本、视频特征,优化跨模态特征对齐与检索算法;
2. 负责高质量多模态训练数据集构建,包含图像清洗、属性标注与图文匹配关系挖掘;
3. 探索多模态大模型在图像搜索领域的应用,提升模型在复杂商品数据上的泛化能力;
4. 设计多模态表征评测框架,集成自动化评估与人工审核机制,提升模型迭代效率;
5. 基于大语言模型(LLM)实现用户意图识别、生成式排序与重排及多目标优化;
6. 结合SFT、RLHF等技术实现生成式端到端推荐建模,持续优化搜推系统决策;
7. 利用奖励模型(Reward Model)与强化学习量化商业目标,构建长期生态价值体系;
8. 探索大模型推理机制,优化语义理解与认知能力,提升搜推系统的智能化水平。
任职要求
1. 获得本科及以上学历,计算机、人工智能、自动化、数学、物理等相关专业;
2. 在CVPR、ICCV、NeurIPS、KDD、SIGIR、WWW、RecSys、ICLR、ICML、ACL等顶会有高质量论文发表记录,或在开源社区有突出贡献;
3. 精通PyTorch或TensorFlow,熟悉Llama、CLIP、BLIP等大模型调优及Hugging Face工具链;
4. 具备扎实的机器学习与深度学习基础,在多模态学习领域有模型训练与调试经验;
5. 熟悉大语言模型(LLM)基础原理,了解RecGPT、多Agent系统等前沿生成式推荐技术;
6. 具备良好的跨团队协作与项目管理能力,对大模型在搜推系统中的落地具有高度热情。