AIGC系统评测专家 - TikTok研发

团队介绍：TikTok研发团队，旨在实现TikTok业务的研发工作，搭建及维护业界领先的产品。加入我们，你能接触到包括用户增长、社交、直播、电商C端、内容创造、内容消费等核心业务场景，支持产品在全球赛道上高速发展；也能接触到包括服务架构、基础技术等方向上的技术挑战，保障业务持续高质量、高效率、且安全地为用户服务；同时还能为不同业务场景提供全面的技术解决方案，优化各项产品指标及用户体验。 在这里， 有大牛带队与大家一同不断探索前沿， 突破想象空间。 在这里，你的每一行代码都将服务亿万用户。在这里，团队专业且纯粹，合作氛围平等且轻松。目前在北京，上海，杭州、广州、深圳分别开放多个岗位机会。 1、负责TikTok业务大模型AIGC产品全链路评测体系搭建与效果优化，覆盖数据集建设、多维度指标体系、自研评估模型、自动化工程、Agent Workflow；通过深度数据分析定位问题根因，贯穿技术选型、工程链路到性能优化全流程；跟踪产业技术演进与产品动态，为业务与技术迭代提供决策输入； 2、评测数据体系建设：搭建分层多维度评测数据集，覆盖模型基础/垂直能力、Agent执行、产品体验等场景，自研自动化数据生产工具链，落地数据全生命周期管理，保障评测数据规模化、高质量供给； 3、指标体系与工程化：构建模型+技术工程+产品效果三位一体的分层评测指标体系，搭建自动化评测流水线，实现模型迭代、版本发布全流程自动评测，加速训练优化闭环，提升效率； 4、效果归因与优化驱动：基于评测结果开展根因分析，从算法、数据、工程、Prompt策略维度定位问题输出落地优化方案；协同跨团队，沉淀评测方法论与问题排查框架； 5、跟踪AIGC全产业链与产品动态，输出分析报告，为技术选型提供前瞻输入；沉淀通用评测组件与基准库，建设中心化评测能力支撑多业务线快速接入。

1、计算机/数学等相关专业，2年以上大模型/AIGC领域评测、算法或工程经验，深入理解LLM原理、Transformer及训练流程、熟悉MLOps/LLMOps理念与工具链，有平台化产品建设经验； 2、代码能力扎实，可独立完成评测工具、自动化流水线、数据生产系统的设计开发，有0到1搭建评测基建经验优先； 3、具备架构视角与数据驱动分析能力，能从业务目标倒推评测体系，通过量化指标定位问题根因，兼顾技术判断与业务价值评估； 4、自驱力强，具备负责人意识与跨团队协同影响力。