- 博客(5)
- 收藏
- 关注
RSS订阅原创 解决ERROR [RS-EventLoopGroup-3-2] util.NettyFutureUtils: Unexpected error caught when processing netty
因为我发现我HDFS这里权限也没什么问题，我就换了地方来存，是在不行大家也可以试试把那个hbase-site.xml下面那个hdfs：//localhost：9000直接改本地文件系统（比如file:///path/to/hbase 你自己的目录）哪里都行只要不是hdfs。当设置为 filesystem。：如果系统需要频繁地写入 WAL 文件，并且不依赖于 HDFS，使用文件系统作为 WAL 存储可以提高性能。，这意味着 HBase 将使用文件系统来存储 WAL，而不是使用其他提供者，如 asyncfs。
2024-11-23 00:34:42
471
原创 解决 hadoop: ssh: Could not resolve hostname hadoop: Name or service not known
在云服务上启动就会出现这种问题，除非你自己新建一个用户，要不然云服务器实例创建以后，我这里是伪分布式，完全分布式就要把另外几台主机ip还有别名也要添加进来。我的core-site.xml文件里是，用的hadoop作为别名。编辑vim /etc/hosts。那个名字是系统自己生成的。
2024-11-20 20:54:38
552
原创 在Mac上安装Spark apache-spark-3.5.1
安装spark的步骤较为简单，前提是要安装好Hadoop哦。这里我使用brew来安装，如果你安装了homebrew直接在终端里输入brew install apache-spark然后等着就可以了（如果没有安装过brew的参考其他博主的内容去安装哦）上面这个就是用brew安装好的样子切换到spark3.5.1的目录下，然后再切换到 libexec/conf 下面先复制一份 spark-env.sh.template 文件然后重命名（用cp命令）为spark-env.sh。
2024-04-11 22:22:24
2023
原创 在Mac上安装Hive.4.0.0（M3：基于arm架构）
要先装好Hadoop，mysql哦！！jdk也自己装好，要装1.8的。由于M系列芯片使用的是arm架构所以，在mac使用brew下载的hive会报错这里我直接去阿里镜像上下载下载这个带着bin的然后解压（在mac里面可以不用tar命令，直接点压缩包它自己会解压，然后把压缩包找个目录保存好，重命名mac里也可以不用mv命令直接control点击文件就可以重命名了）然后我们vim ~/.bash_profile然后再source ~/.bash_profile。
2024-04-07 21:28:33
1725
1
原创 解决在Mac上，执行./start-yarn.sh的时候出现localhost: ERROR: Cannot set priority of nodemanager process 29577的问题
这个目录下有三个文件cd到name/current里，查看name的clusterID，就把与clusterID与另一个data/current里面的clusterID比较，如果不一样就把data的clusterID用vim改成name里的就可以了，然后再重启集群。在提醒一下当时，我出问题之后，就以为自己前面是不是有问题就重新配了一次，然后启动Hadoop的时候datanode就掉了，是因为格式化namenode太多次了，到。上面这个方法的时候，出现了该方法不可访访问的问题。jps一下 ，守护进程都有了。
2024-04-07 11:59:28
843
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人