大数据平台工程师(J19397)

1.特征服务与模型训练平台建设：建设统一的特征服务平台，模型训练平台，负责特征数据的采集、清洗、存储与查询，提升特征复用率与可追溯性，分布式模型训练的性能优化，扩展增强，优化全链路的稳定性与成本。 2.大数据计算与实时处理：设计并实现批处理（Spark/Hive）和流处理（Flink/Kafka）任务，建设批流一体架构，推动数据湖/湖仓一体化在特征场景落地。 3.平台研发与接口服务：使用Java/Scala/Python开发核心模块，提供标准化API/SDK，高并发、低延迟特征服务接口，支持业务与算法调用。 4.系统优化与运维：负责分布式系统的稳定性与高可用性，进行JVM/并发/存储调优，建设监控与告警体系，提升可观测性。

1.计算机基础：本科及以上学历，精通Java，熟悉多线程、并发与JVM调优。 2.大数据技术栈：熟悉Hadoop/Spark/Hive/Flink/Kafka，理解批流一体化；具备实时计算与消息队列实践经验。 3.特征服务经验（加分）：有特征计算、管理、模型服务平台建设经验，熟悉分布式KV存储，或Pika/Redis/HBase/ClickHouse/ES等存储。 4.工程与平台思维：具备分布式系统调优、高并发处理能力，有平台化产品思维。有云原生/Kubernetes经验。