多源异构数据的大模型持续预训练算法研究
京东
北京校招京东集团京东校园招聘(专项计划)
岗位职责
1. 研究多源异构业务数据在大语言模型持续预训练(Continual Pre-training)中的有效融合与表征方法。
2. 设计并验证海量业务数据的自动化筛选、高优清洗与处理处理链路。
3. 探索并调优不同业务数据融入方式与训练策略,破解灾难性遗忘等技术瓶颈。
4. 评估预训练数据对下游具体业务任务效果的实际影响,以技术驱动整体业务指标提升。
任职要求
1. 计算机科学、人工智能、数据科学等相关领域的本硕博在校生。
2. 精通大模型数据构建与训练核心流程,具备丰富的预训练(PT)与后训练实战经验。
3. 具备独立开展前沿技术研究的能力,以及出色的科研逻辑素养。
4. 具备优秀的复杂业务数据抽象能力与代码落地能力。
5. 以第一作者身份在顶级会议(如NeurIPS、ICML、ICLR等)有相关学术论文发表经历者优先。