小五的博客

问题1：Couldn’t create proxy provider class org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverPro。问题2：Class org.apache.hadoop.hdfs.DistributedFileSystem not found。

缺少lzo的包，网上下载lzo的包我的是hadoop-lzo-0.4.20.jar。放入hadoop目录与spark目录。

参考：https://blog.youkuaiyun.com/m0_73734232/article/details/128273959。复制hive配置文件以及存储元数据的mysql jar包即可。原因缺少hive配置文件。

spark

hadoop104 cd /opt/module/flume-1.9.0/conf 日志消费flumevim kafka-flume-hdfs.confa1.sinks.k1.hdfs.codeC = org.apache.hadoop.io.compress.GzipCodeccd /home/atguigu/bin mysql_to_hdfs_init.sh mysql_to_hdfs.sh首日sqoop同步脚本与每日同步脚本，并删除创建lzo索引的命令org.apache.hado

注：当前节点一定要是namenode的active节点，因为hadoop长时间不用namenode就需要格式化（删除hadoop下的data logs文件夹执行hdfs namenode -format）常规配置配置完，开启hadoop，开启spark（如果在hdfs上上传了纯净版的spark则不需要开启），开启hive。hive-site.xml文件中需要配置两个与spark连接的配置文件，没配置，你能够从报错的日志中找到。至于版本问题我用的hive-3.1.2 spark3.0.0。

spark、hive

spark