岗位职责:1.负责Hadoop、Hive、Spark等大数据平台 规划、系统优化,及k8s、docker等;2.负责公司大数据平台的设计和开发,hadoop、flink、spark、图数据库、时序数据库等云计算平台的开发和优化,制定数据架构规范,指导团队落地;3.系统核心部分代码编写、指导和培训工程师、不断进行系统优化;4.负责技术选型,对数据应用提供数据存储、查询引擎、实时计算、元数据管理的架构设计;5.独立或者带领团队完成各种面向业务目标的数据分析模型定义和应用开发;6.学习和研究大数据技术最新动向以满足产品、项目的需求。任职要求:1.熟悉Hadoop大数据生态圈及组件,包括但不限于Sqoop、Kafka、hbase、spark等;2.精通java编程语言,对大数据基础架构和平台底层原理有深度理解和丰富开发经验, 对复杂系统的性能优化和稳定性提升有一线实战经验,具备相关产品(Hadoop、Hive、HBase、Kafka、MapReduce、Spark、Flink等)项目应用研发经验;3.熟练Java语言进行面向对象程序设计,有良好的编程习惯,熟悉常用的Java API,包括集合框架、Socket、JDBC等;4.熟悉Spring CloudAlibaba等微服务框架、MQ 了解Linux相关操作;5.熟悉SSH常用J2EE框架原理及使用,熟练使用常见设计模式;6.熟悉主流数据库,如MYSQL等,有SQL调优经验;7.具备良好的沟通能力、团队合作精神;工作踏实努力,积极主动,能承受工作压力。8.熟悉starrocks、dolphinscheduler、datax、wedatasphere者优先 。