AI 数据平台工程师
MiniMax
岗位职责
1. 设计并建设预训练数据资产管理能力,完善数据集、数据版本、元数据、标签、血缘、负责人和使用范围等核心模型。
2. 建设数据接入、开发、加工和发布流程,支持不同来源、不同格式数据的标准化登记、版本管理和可追溯交付。
3. 建设数据目录、检索、预览、权限和数据服务能力,让用户能够快速找到合适的数据并以稳定方式使用。
4. 建立数据质量规则、校验、抽样检查和质量报告机制,支持问题定位、处理反馈和质量门禁。
5. 设计面向数据算法与实验任务的 API、SDK 或自助式工具,降低数据准备、组合、复用和发布成本。
6. 与数据算法、实验、评测、数据基础设施及外部协作团队协作,持续完善数据资产从生产到消费的闭环。
任职要求
任职要求
1. 具备扎实的编程基础,熟练使用 Python,能够完成数据分析、算法实现和工程开发。
2. 在数据算法或大规模数据工程至少一个方向有扎实积累,并具备跨越两个方向解决实际问题的能力。
3. 具备大规模数据处理经验,能够开发、运行和调试数据处理任务,分析性能、稳定性及数据正确性问题。
4. 对数据质量有基本理解,能够通过统计、抽样和错误案例发现问题,并提出可验证的处理方法。
5. 对机器学习和大语言模型预训练有基本理解,能够理解数据对照、控制变量和模型评测结果。
6. 具备良好的分析、沟通和协作能力,能够清晰说明方案依据、实验结果及其适用范围。
加分项
- 参与过大语言模型预训练、继续预训练或训练数据构建;
- 处理过网页、代码、PDF、学术文档或多语言语料;
- 有数据提取、质量评分、分类过滤、去重、数据选择或数据混合相关经验;
- 有分布式数据处理、数据基础设施或大规模任务优化经验;
- 参与过模型训练或数据实验,能够设计和分析数据相关的对照实验;
- 曾推动复杂数据处理工作从问题分析、方案设计和工程实现走向实际应用;
- 有相关论文、开源项目或生产实践经验。