智能模型数据平台工程师-AI Data
字节跳动
上海校招字节跳动校园招聘(校招应届)
岗位职责
1、围绕Seed大模型数据全生命周期,建设Seed大模型海量数据的管理/生产/消费/质量的统一平台,提升大模型数据全生命周期的使用效率与质量,赋能算法预训练、SFT/RLHF等场景;
2、构建大模型领域的Data Agent,重构AI-Native的数据平台范式;
3、协同基础架构/云平台团队,搭建稳定高效的底层数据基础设施(数据湖、对象存储、分布式计算、大规模数据检索、数据血缘系统,调度引擎,算力平台等);
4、主导技术选型与架构优化,基于Spark/Flink/Ray、湖仓一体、向量数据库,调度引擎等技术栈,构建高吞吐、高容错、可扩展的处理存储能力,支撑日PB级数据处理。
任职要求
1、本科及以上学历,计算机相关专业;
2、精通Python、Java、Go等至少一种编程语言,有服务端开发经验,具备良好的编码能力和代码质量意识;
3、至少精通以下引擎/架构之一:Spark/Flink/Ray等大数据处理引擎,Hudi/Iceberg/Paimon等数据湖,及Doris/ClickHouse等OLAP引擎,PyTorch/TensorFlow等机器学习框架,索引与搜索架构;在线上有实践经验,有源码阅读经验,有引擎二次开发经验优先;
4、对业务敏感,能快速理解业务背景,具备优秀的技术与业务结合能力,有较好的需求抽象能力和架构能力;学习能力强,能够快速学习完全没有涉猎过的新技术,并快速应用于工程实践。
加分项:
1、大数据平台生产与管理开发经验;
2、大模型数据抓取、加工,合成应用于预训练、SFT/RLHF的实践经验;
3、Agent项目开发经验,了解当前Agent架构实践;
4、良好的AI Coding实践者,有将Harness Engineering应用于实际开发工作经验。