pietiaonan_bugkiller的博客

原创 spark2.4.7兼容haddoop 3.1.4 和hive 3.1.2

背景​ 公司有一套大数据解决方案平台，包括数据同步平台、大数据管理平台、数据可视平台、数据监控报警平台等。所有平台是基于apache 的 hadoop 2.6.3、hive 1.2.1、spark 2.0.2 、scala 2.11.8（其他组件暂不详述），现在需要搭建一套新的集群，决定新集群组件采用新的版本，hadoop 3.1.4 、hive 3.1.2 、spark 2.4.7、scala 2.12.13。基于以上组件的升级，数据平台项目需要做同步的升级，在升级过程中，遇到一些api改变、版本不兼容