具身机器人全模态Agentic 系统设计与后训练研究
京东
北京校招京东科技京东校园招聘(专项计划)
岗位职责
1. 主导基于多模态大模型(VLM/Omni)的Agentic系统设计,实现任务规划与工具调用闭环;
2. 负责机器人场景下大模型的SFT与RLHF/RLAIF后训练,优化模型认知对齐与偏好;
3. 探索音频、视觉、文本的时间序列特征对齐,提升模型在动态环境下的情境理解力;
4. 推进多模型级联向单模型统一架构演进,打通云端推理到端侧执行的衔接。
任职要求
1. 获得本科及以上学历,计算机科学、人工智能、机器人、自动化等相关专业;
2. 具备具身操作大模型相关的数据收集、模型预训练、模型微调及推理部署经验,熟悉大规模多卡并行训练及具身智能场景下的模型开发流程,有灵巧手相关项目经验;
3. 熟悉领域内具身开源数据集(如OXE、DROID、AGIBot World、ROBOCOIN、ROBOMIND等)及第一视角人类操作数据集(如EgoDex、Ego4D、Epic-Kitchen等);
4. 熟悉多模态与具身操作领域经典模型及前沿架构(如Qwen-VL系列、RoboBrain、PI系列、DP系列、RDT、GR00T等);
5. 熟练掌握Python、C++等编程语言及PyTorch、TensorFlow等深度学习框架,具备良好的代码工程与问题排查能力;
6. 在具身智能、机器人学、多模态大模型等领域顶级会议或期刊(如ICML、ICLR、NeurIPS、ICRA、IROS、RSS、CVPR、ECCV等)有高质量论文发表记录。