- 博客(17)
- 收藏
- 关注
RSS订阅原创 Hbase安装详解
本文安装环境介绍:a、三台linux服务器,分别命名为node1、node2、node3(已在/etc/hosts文件里做好了ip和名字的映射)b、软件压缩包存储路径:/export/software/c、解压后安装包存储路径:/export/server/d、hadoop版本:hadoop-3.3.0hadoop和hbase兼容性1、下载Hbase网址:https://dlcdn.apache.org/hbase/2.4.11/2、上传到node1上并解压到/e..
2022-04-10 22:17:28
11761
4
原创 zookeeper启动报错already running as process处理
之前zookeeper一直是能正常启动的，但是某次启动时报错already running as process输入命令jps查看是否真的启动了，发现未启动(zookeeper的进程名称是:QuorumPeerMain)这个一般是因为机器异常关闭缓存目录中残留PID文件导致的(为关闭进程强行关机等导致的）清理下缓存目录就可以了进入文件目录(这目录是设置zoo.cfg(cd /export/server/zookeeper-3.4.9/conf)时设置的dataDir目录):(base) .
2022-03-27 10:42:10
9146
原创 Mac 彻底卸载PyCharm及Mac重新安装PyCharm无法打开处理
Mac 彻底卸载PyCharm,Mac 重新安装PyCharm无法打开处理
2022-03-23 00:10:44
3697
原创 Spark On Yarn的部署
1、Spark On Yarn的部署Spark On Yarn不需要过多的配置，只需要确保以下两项的正确配置(/export/server/spark/conf/spark-env.sh )HADOOP_CONF_DIRYARN_CONF_DIR[root@node1 conf]# vim spark-env.shHADOOP_CONF_DIR=/export/server/hadoop-3.3.0/etc/hadoop/YARN_CONF_DIR=/export/server/ha.
2022-03-21 23:17:09
3354
原创 Spark Standalone HA 模式安装及问题处理
前提:确保Zookeeper和HDFS均已经启动1、配置文件修改跳转到配置文件夹：[root@node1 zookeeper-3.4.9]# cd /export/server/spark/conf[root@node1 conf]# vim spark-env.sh注释或删除掉下面的语句(前面加#号)#export SPARK_MASTER_HOST=node1增加以下内容:SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMo
2022-03-21 00:17:08
2355
原创 Linux中安装Zookeeper
1、下载Zookeeper网址:Index of /dist/zookeeper并上传下载的文件到Lunix的/export/software/目录下 (演示的是按照zookeeper-3.4.9.tar.gz）2、解压文件[root@node1 software]# tar -zxvf zookeeper-3.4.9.tar.gz -C /export/server/3、修改配置文件 a、进入conf文件夹:[root@node1 conf]#cd /...
2022-03-20 20:43:35
2274
原创 Spark StandAlone环境部署
1、集群规划使用三台Linux虚拟机来组成集群环境, 非别是:node1\ node2\ node3node1运行: Spark的Master进程 和 1个Worker进程node2运行: spark的1个worker进程node3运行: spark的1个worker进程在所有机器安装Python(Anaconda):参考：Anaconda On Linux安装_沉默鹰_90的博客-优快云博客在所有机器配置环境变量：参考(以下文档的3、4、5点；Spark先不要安装，最后从no
2022-03-19 01:00:26
874
原创 Spark Local模式安装及测试
1、解压文件解压spark压缩文件到/export/server/目录下(我的是:spark-3.2.0-bin-hadoop3.2.tgz)(pyspark) [root@node1 export]# tar -zxvf spark-3.2.0-bin-hadoop3.2.tgz -C /export/server/2、配置软连接(也可以不配置，配置是为了输入这个文件夹是比较方便)(pyspark) [root@node1 server]# ln -s /export/serv.
2022-03-18 22:43:03
850
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人