岗位职责
大数据研发经理岗位职责:1.负责大数据平台的架构设计与搭建,负责数据存储、计算、分析等核心模块的开发与优化,确保平台稳定、高效运行,满足海量数据处理需求; 2.构建和维护ETL流程,从多源异构数据中提取、清洗、转换数据,保障数据质量和完整性,实现数据的高效流转与整合; 3.基于大数据技术,如Spark、Flink等,实现实时和离线数据处理任务,包括数据实时、离线采集,计算,报表生成等,助力业务监控与敏捷响应;4.与算法团队、业务部门紧密合作,理解业务需求,提供数据解决方案,挖掘数据价值,推动数据驱动的业务创新和发展; 5.建设和管理高效的数仓研发团队,保障项目健康推进。任职要求: 1.本科及以上学历,计算机、软件等相关专业,至少5年数仓研发工作经验,有大型项目大数据处理经验; 2.精通Hadoop、Spark、Flink等大数据生态技术,熟悉Hive、HBase、Kafka、Presto等组件的原理与应用,能够熟练进行集群部署、调优和故障排查; 3.精通数仓实施方法论,深刻理解数仓体系,并支撑过实际业务场景;熟悉数据治理相关流程及方法,熟悉数据资产类相关平台或系统,数据治理体系等; 4.要求有出色的责任感和执行力,能够自我驱动;对数据敏感,沟通能力强,具备快速学习能力; 5.良好的项目管理经验,能够驱动团队克服项目推进中的各项挑战。
