岗位职责
岗位职责:1、根据业务需求,负责离线和实时技术方案设计、代码开发。2、精通数据治理,ETL,精通hivesql3、负责基于spark,Flink,hadoop等技术的海量数据处理,分析,统计挖掘工作;4、负责大数据的需求分析,需求开发;5、设计和研发数据分析相关的工具平台;6、完成领导交办的其他工作。任职资格:1、熟悉大数据生态圈各个技术栈;2、精通Linux/unix/Windows平台下的大数据开发;3、掌握常用需求/架构设计工具使用,熟练运用Mavean,Git,SVN等开发工具;4、至少熟悉MySql、Oracle、doris等数据库中的2种;5、熟悉Hadoop生态圈(Spark、Hive、Hbase、Flink、Kafka/ElasticSearch、各类算法等),至少熟练掌握2种以上技术。6、熟悉DolphinScheduler、Datax、StarRocks、ClickHouse、TiDB优先;7、良好的逻辑分析能力和沟通能力,执行力强、对待工作认真严谨、责任心强、具备出色的学习能力和团队合作精神,有良好的推动能力。行业要求:全部行业
