多模态算法工程师-搜索
字节跳动
北京校招字节跳动社会招聘(社招)
岗位职责
团队介绍:字节跳动搜索团队主要负责抖音、国际化短视频、今日头条、红果短剧、番茄小说、AI搜索等产品以及电商、生活服务等业务的搜索算法创新和架构研发工作。
我们使用前沿的机器学习\大模型技术进行端到端建模并不断创新突破,同时专注于分布式系统、机器学习系统的构建和性能优化,从内存、Disk等优化到索引压缩、召回、排序等算法的探索,致力于支撑字节跳动持续多元化的产品创新和高速的业务增长、基于大模型革新和重塑下一代搜索技术体系,充分给同学们提供成长自我的机会。
主要工作方向包括:
1、探索前沿的NLP技术:全面基于LLM的Query分析、相关性、个性化预估、满意度评估、生成式检索等,全链路应用LLM/VLM,每个细节都充满挑战;
2、跨模态匹配技术:进行多模态预训练,在超大规模的多模态表征、匹配、生成等多个技术方向上持续突破,打造世界领先的多模态搜索系统。
3、大规模流式机器学习技术:应用大规模机器学习,解决搜索中的推荐问题,让搜索更加个性化更加懂你;
4、千亿级数据规模的架构:从大规模离线计算,分布式系统的性能、调度优化,到构建高可用、高吞吐和低延迟的在线服务的方方面面都有深入研究和创新;
5、推荐技术:基于超大规模机器学习、因果推断、大模型推理等技术手段,构建业界领先的搜索推荐系统,对搜索推荐技术进行探索和创新。
1、多模态大模型:基于VLM、大规模对比学习、通用Tokenizer等模型研究与应用,为抖音短视频生态提供基础的高质量图文Caption、多模态表征、Tokenizer等,探索多模态大模型的Scaling Law;
2、AI问答/Agent:基于Continue Train、SFT、RL等训练技术迭代Planner、Summary提升工具使用、多媒体总结能力,探索Agentic技术升级;
3、大规模视觉搜索:相关性、召回排序、个性化建模等算法持续升级提升用户体验,探索自动化标注、生成式召回、召粗精一体化系统、多模态表征/个性化CoTrain、Dense个性化、RL Based GE混排等技术。
任职要求
1、本科及以上学历,基础扎实,有良好的代码、机器学习算法功底和经验;
2、熟悉CV、VLM、OmniModel、LLM、Agent、DeepResearch、视觉搜索/AI问答等相关的算法和技术;
3、出色的问题解决能力,善于分析,历史上解决过难题,遇到难题时能静下心,没有畏难情绪,能查到底层;
4、由衷热爱技术,可以一线写代码,查问题,有强烈的工作责任心,较好的学习能力、沟通能力和自驱力。