多模态视频理解大模型算法工程师-视频与边缘
字节跳动
北京校招字节跳动校园招聘(校招应届)
岗位职责
1、探索多模态视频理解大模型技术前沿,长视频理解、Token压缩、影视视频剧本还原、全模态高光理解、流式视频理解、理解和生成统一等技术方向,创新性优化相关算法;
2、全模态大模型(文本、图像、语音)的Post-training算法,同时结合用户消费行为持续优化模型效果,结合LongCoT和RL自主探索学习,探索多模态感知能力的边界;
3、探索视频剪辑Agent相关的研发和应用,研究高质量数据的挖掘和合成、大模型的对齐效率、多目标融合的学习,Agent全链路优化的方法等等;
4、探索直播流式场景比如体育、游戏等实时解说,解决工业级效率和效果难题,支持多语言服务全球化;
5、发表相关技术创新成果,比如顶会论文、专利或比赛。
任职要求
1、获得硕士及以上学位,计算机科学、人工智能、自动化等专业优先;
2、熟练掌握Python/C++,熟悉NLP、CV、多模态中的1-2个领域,熟悉大模型训练、RL算法者优先;
3、熟悉Qwen-VL、InternVL、InternVideo等模型,有基于视频Catpion、视频Grounding、视频摘要、视频问答、美学评价、高光检测、动作识别、视频编辑、视频风格化等项目落地经验者加分,能深入解决大模型训练和应用存在的问题;
4、发表过CV/NLP/多模态相关顶会论文(比如CVPR/ICLR/ICCV/PAMI/ACL等)或ACM等竞赛获奖;
5、强烈的技术热爱和好奇心与自主探索能力,优秀的分析和解决问题的能力,和团队一起探索新技术创新和落地。