- 博客(10)
- 收藏
- 关注
RSS订阅原创 spark 3.1.1的安装
进入conf目录下，复制并改名：cp spark-env.sh.template spark-env.sh。解压：tar -zxvf spark-3.1.1-bin-hadoop3.2.tgz。改名：mv spark-3.1.1-bin-hadoop3.2 spark。接着复制并改名：cp workers.template workers。启动：sbin/start-all.sh。然后：vi spark-env.sh。出现master和worker。接着：vi workers。
2024-11-10 23:10:31
340
原创 Flink1.14.0 安装配置
解压：tar -zxvf flink-1.14.0-bin-scala_2.12.tgz。然后进入bin目录下启动：./start-cluster.sh。将localhost:8081改成：master:8081。保存退出并进入到conf目录：vi masters。改名：mv flink-1.14.0 flink。然后：vi flink-conf.yaml。然后：vi workers。
2024-11-10 23:05:27
376
原创 hbase配置部署
确保hadoop集群zookeeper集群都是启动状态：jps（如果没启动就start-all.sh）解压安装包：tar -zxvf hbase-2.2.3-bin.tar.gz。进入hbase下的conf，配置：vi hbase-env.sh。让环境变量生效：source /etc/profile。改名：mv hbase-2.2.3 hbase。添加环境变量：vi /etc/profile。配置文件：vi hbase-site.xml。启动hbase：start-hbase.sh。
2024-11-07 23:54:50
1160
原创 Flume1.9.0配置
进入flume下的conf：cp flume-env.sh.template flume-env.sh（复制并改名）添加或修改：export JAVA_HOME=/home/user/Downloads/jdk。解压：tar -zxvf apache-flume-1.9.0-bin.tar.gz。改名：mv apache-flume-1.9.0-bin flume。进入flume下的bin目录：vi flume-ng。添加环境变量：vi /etc/profile。出现：error......报错。
2024-11-07 23:53:10
250
原创 Kafka2.4.1 集群部署
将三个虚拟机都启动：bin/kafka-server-start.sh -daemon config/server.properties。进入kafka下的config目录：vi server.properties。解压：tar -zxvf kafka_2.12-2.4.1.tgz。每台虚拟机都修改：vi server.properties。改名：mv kafka_2.12-2.4.1 kafka。配置环境变量：vi /etc/profile。生效：source /etc/profile。
2024-10-22 20:21:00
304
原创 mysql数据库和hive的安装
到/home/user/Downloads/hadoop/share/hadoop/yarn/lib路径查看是否有jline-0.9.94.jar，没有则不用管，有则删除掉。进入hive下的conf进行复制并改名：cp hive-default.xml.template hive-site.xml。解压到该目录下：tar -xvf mysql-5.7.18-1.el7.x86_64.rpm-bundle.tar -C。解压：tar -zxvf apache-hive-3.1.2-bin.tar.gz。
2024-10-19 14:43:08
1688
原创 安装zookeeper
传送到slave1和slave2:scp /etc/profile root@slave1:/etc/解压：tar -zxvf apache-zookeeper-3.5.7-bin.tar.gz。改名：mv apache-zookeeper-3.5.7-bin zookeeper。到slave1和slave2里生效：source /etc/profile。将slave1里data下的myid改为2，slave2则改为3。增加环境变量：vi/etc/profile。出现了QuorumpeerMain即可。
2024-10-01 07:15:00
289
1
原创 安装JAVA环境和Hadoop3.1.3完全分布式
修改主机名称：hostnamectl set-hostname master(slave1或slave2)查看主机名称：cat /etc/hostname切换用户：su root查看ip:ip addr在master添加三台虚拟机ip地址：vi/etc/hosts三台虚拟机都生成密钥：ssh-keygen -t rsa(一路回车)master传输密钥：ssh-copy-id master（slave1和slave2)
2024-10-01 07:00:00
2242
原创 查不到IP
发现查不到IP，在网上查到答案，于是重启ens33：ifdown ens33 & ifup ens33。dhclient命令的作用是：使用动态主机配置协议动态的配置网络接口的网络参数，也支持BOOTP协议。接着输入：sudo dhclient ens33。然后再次查看：ip addr。
2024-06-09 17:46:29
220
原创 启动hadoop集群，datanode启动失败
start-all.sh 重新启动，然后jps 查看，datanode启动成功。尝试单独启动 hadoop-daemon.sh start datanode。export HADOOP_SECURE_DN_USER=root这一行。然后stop-all.sh，关闭hadoop集群。
2024-05-25 17:32:27
354
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人