Hadoop stop-all.sh总是提示 cat: $HADOOP_HOME/conf/masters

最新推荐文章于 2020-05-24 09:17:31 发布
原创 最新推荐文章于 2020-05-24 09:17:31 发布 · 202 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据

讨论了在使用Hadoop运行bin/stop-all.sh时遇到的问题，发现是环境变量设置导致的，通过source /etc/environment解决了问题。

今天在Hadoop中运行bin/stop-all.sh总是提示 cat: $HADOOP_HOME/conf/masters

但是我单独运行 cat $HADOOP_HOME/conf/masters是有输出的，Google了半天也没个结果，后来想起来我的环境变量是设置在/etc/environment中的，于是我source /etc/environment，在运行bin/stop-all.sh就可以了.

 

fuck

Flink Standalone集群部署和任务提交
chanyue123的博客
01-29 5904
讲解flink standalone的部署和任务提交
$HADOOP_HOME/bin/hadoop脚本文件分析
行云流水的博客
08-11 7417
#!/usr/bin/env bash # Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this work for additional information
conf/masters中masters的内容探究
什么最重要？算法！！
10-16 841
在Hadoop1文件配置的过程中：masters的内容究竟是什么？？ 今天在黄宜华《深入理解大数据》中找到了答案？68页 masters记录的是SecondaryNameNode的地址。
stop-all.sh无法停止hadoop集群
weixin_30525825的博客
05-30 514
执行hadoop的关闭脚本，出现没有可停止的namenode、datanode、secondarynamenode等，如下： [root@hadoop001 soft]# stop-all.sh This script is Deprecated. Instead use stop-dfs.sh and stop-yarn.sh 19/05/28 18:09:19 WARN util.N...
无法停止hadoop集群（stop-all.sh）
Markix的博客
01-05 8004
执行 ./bin/stop-all.sh 脚本一直提示没有可停止的namenode、datanode、secondarynode。可是输入 jps 命令，发现hadoop 已经启动。 [root@xxxxxx src]# bash hadoop-2.6.5/sbin/stop-all.sh This script is Deprecated. Instead use stop-dfs.sh a...
stop-all.sh 命令无法停止hadoop集群
zhoujianfeng3的专栏
08-05 8096
最近一直都在研究 Mahout算法，hadoop集群也没怎么改动；今天
用空格隔开 如果敲错了 按下ctrl+backspace可以删除 注意一定要有四个)" one two three four if [ ! -n $four ] then echo "Args Number Input Error..." exit; fi}# 获取用户的8个配置文件存放路径和将要安装的目录function getFilesAndTargetDir(){ read -p "请输入你的软件包路径(绝对路径)" softwareDir read -p "请输入你的8个配置文件存放路径(配置文件已修改好 绝对路径)" filesDir read -p "你想要将HA安装在哪个目录下(空目录 绝对路径)" targetDir}function getUserPathFileName(){ read -p "你的环境变量配置文件名：(在/etc/profile.d/下 例如my_path.sh 只要文件名)" pathFileName}# 1 function unpackSoftwarePackage(){ echo "----------一、解压软件包----------" sleep 2 echo "----------1.创建hadoop HA高可用目录:$targetDir/----------" if [ ! -d "$targetDir/" ];then mkdir $targetDir/ fi echo "----------2.解压JDK----------" tar -xzvf $softwareDir/jdk-8u202-linux-x64.tar.gz -C $targetDir/ echo "----------3.解压hadoop----------" tar -xzvf $softwareDir/hadoop-3.1.3.tar.gz -C $targetDir/ echo "----------4.解压zookeeper----------" tar -xzvf $softwareDir/apache-zookeeper-3.5.7-bin.tar.gz -C $targetDir/ echo "----------第一步已完成----------" return 0}# 2 function changeName(){ echo "----------二、改名----------" sleep 2 echo "----------1.重命名Zookeeper----------" mv $targetDir/apache-zookeeper-3.5.7-bin/ $targetDir/zookeeper echo "----------2.重命名JDK----------" mv $targetDir/jdk1.8.0_202/ $targetDir/jdk1.8 echo "----------第二步已完成----------" return 0}# 3function copyConfigurationFiles(){ echo "----------三、修改八个配置文件----------" sleep 2 echo "----------1.修改hadoop下的6个文件----------" cat $filesDir/core-site.xml > $targetDir/hadoop-3.1.3/etc/hadoop/core-site.xml cat $filesDir/hdfs-site.xml > $targetDir/hadoop-3.1.3/etc/hadoop/hdfs-site.xml cat $filesDir/mapred-site.xml > $targetDir/hadoop-3.1.3/etc/hadoop/mapred-site.xml cat $filesDir/yarn-site.xml > $targetDir/hadoop-3.1.3/etc/hadoop/yarn-site.xml cat $filesDir/workers > $targetDir/hadoop-3.1.3/etc/hadoop/workers cat $filesDir/hadoop-env.sh > $targetDir/hadoop-3.1.3/etc/hadoop/hadoop-env.sh echo "----------2.修改zookeeper下的1个文件----------" mv $targetDir/zookeeper/conf/zoo_sample.cfg $targetDir/zookeeper/conf/zoo.cfg cat $filesDir/zoo.cfg > $targetDir/zookeeper/conf/zoo.cfg echo "----------3.修改环境变量----------" cat $filesDir/$pathFileName > /etc/profile.d/$pathFileName source /etc/profile.d/$pathFileName echo "----------4.安装psmisc插件----------" sudo yum install -y psmisc ssh $two "sudo yum install -y psmisc" echo "----------第三步已完成----------" return 0}# 4.function createDir(){ echo "----------四、创建目录----------" sleep 2 echo "----------1.创建zkData高可用目录----------" mkdir $targetDir/zookeeper/zkData touch $targetDir/zookeeper/zkData/myid echo "----------2.创建Hadoop数据临时目录----------" mkdir $targetDir/tmp echo "----------3.创建JournalNode日志目录----------" mkdir $targetDir/logs echo "----------第四步已完成----------" return 0}# 5.function xsyncHA(){ echo "----------五、分发HA目录----------" sleep 2 xsync $targetDir/ echo "----------1.分发环境变量配置文件----------" for i in $two $three $four do sudo scp /etc/profile.d/$pathFileName $i:/etc/profile.d/ done echo "----------2.刷新环境变量----------" for i in $two $three $four do ssh $i "source /etc/profile.d/$pathFileName" done echo "----------第五步已完成----------" return 0}# 6.function changeMyIdOfZK(){ echo "----------六、修改zookeeper的myid 使用ssh方式----------" sleep 2 echo "---------- 修改two的myid文件------------" ssh $two "echo '1' >> $targetDir/zookeeper/zkData/myid" echo "---------- 修改three的myid文件------------" ssh $three "echo '2' >> $targetDir/zookeeper/zkData/myid" echo "---------- 修改four的myid文件------------" ssh $four "echo '3' >> $targetDir/zookeeper/zkData/myid" echo "----------第六步已完成----------"}# 7.function startZKOnThreeNode(){ echo "----------七、启动ZK----------" sleep 2 echo "----------启动zookeeper----------" for i in $two $three $four do echo ---------- zookeeper $i 启动 ------------ ssh $i "$targetDir/zookeeper/bin/zkServer.sh start" done echo "----------第七步已完成----------"}# 8.function startHadoop(){ echo "----------八、启动hadoop----------" sleep 2 echo "----------1.启动JournalNode----------" for i in $one $two $three do echo ---------- hadoop $i JournalNode启动 ------------ ssh $i "hdfs --daemon start journalnode" done echo "----------2.初始化NameNode----------" hdfs namenode -format echo "----------3.初始化Zookeeper----------" ssh $two "hdfs zkfc -formatZK" echo "----------4.启动两个NameNode----------" hdfs --daemon start namenode ssh $two "hdfs namenode -bootstrapStandby" echo "----------5.启动集群----------" start-dfs.sh echo "----------第八步已完成----------" echo "----------Hadoop HA高可用搭建已完成----------"}# 调用上述函数完成安装HAtestReadgetFilesAndTargetDirgetUserPathFileNameunpackSoftwarePackagechangeNamecopyConfigurationFilescreateDirxsyncHAchangeMyIdOfZKstartZKOnThreeNodestartHadoop123
03-09
"zoo.cfg" "slaves" "masters" "hadoop-env.sh") source_config_dir="/path/to/configs" destination_dirs=( "${target_dir}/etc/hadoop/" "${target_dir}/conf/" # 对应于Zookeeper配置 ) for file in "${...
hbase启动一会自动关闭[root@hadoop1 conf]# start-hbase.sh hadoop2: Warning: Permanently added 'hadoop2,192.168.226.139' (ECDSA) to the list of known hosts. hadoop1: Warning: Permanently added 'hadoop1,192.168.226.138' (ECDSA) to the list of known hosts. hadoop3: zookeeper running as process 12621. Stop it first. hadoop2: zookeeper running as process 14576. Stop it first. hadoop1: zookeeper running as process 46257. Stop it first. running master, logging to /home/qbf/HBase/hbase-3.0.0-beta-1/logs/hbase-root-master-hadoop1.out hadoop2: Warning: Permanently added 'hadoop2,192.168.226.139' (ECDSA) to the list of known hosts. hadoop1: Warning: Permanently added 'hadoop1,192.168.226.138' (ECDSA) to the list of known hosts. hadoop2: regionserver running as process 12885. Stop it first. hadoop3: regionserver running as process 11284. Stop it first. hadoop1: running regionserver, logging to /home/qbf/HBase/hbase-3.0.0-beta-1/logs/hbase-root-regionserver-hadoop1.out [root@hadoop1 conf]# jps 46257 HQuorumPeer 5781 NodeManager 5624 ResourceManager 50409 HRegionServer 50553 Jps 47243 JarBootstrapMain 45405 NameNode 46783 JarBootstrapMain [root@hadoop1 conf]# jps 46257 HQuorumPeer 50643 Jps 5781 NodeManager 5624 ResourceManager 47243 JarBootstrapMain 45405 NameNode 46783 JarBootstrapMain
06-14
echo "node03" >> conf/backup-masters ``` 2. 手动启动多主节点： ```bash bin/hbase-daemon.sh start master # 在node02/node03执行[^3] ``` **第四步：检查关键日志** ```bash tail -100 logs/hbase-*-...
记录一次生产环境hadoop集群优化以及pid文件缺失处理
duanbiren123的博客
06-10 1317
一、优化准备优化需要根据实际情况综合分析1、关闭系统swap分区（如果未关闭的话）在Hadoop中，如果使用系统默认设置，会导致swap分区被频繁使用，集群会不断发出警告。对于每个作业处理的数据量和每个Task中用到的各种缓冲，用户都是完全可控的。echo "vm.swappiness = 0" >> /etc/sysctl.conf说明：尽量不使用交换分区，注意不是禁用2、资源和配置...
[root@sias bin]# ./start-cluster.sh Please specify JAVA_HOME. Either in Flink config ./conf/flink-conf.yaml or as system-wide JAVA_HOME.
最新发布
07-09
./bin/start-cluster.sh ``` 6. **检查进程**：使用`jps`命令查看是否有`StandaloneSessionClusterEntrypoint`（JobManager）和`TaskManagerRunner`（TaskManager）进程启动（引用[3]）。 注意：如果同时设置了...
hadoop相关问题-stop-all.sh
Searcher_Recommeder的博客
06-09 1047
1,pid 文件丢失问题     如果hadoop不指定pid的文件路径，默认的路径在/tmp下面，linux会定期清理/tmp目录，导致里面的pid文件消息    ./stop-all.sh执行的时候直接从/tmp下面查找pid文件，因为已经被系统删除，便会提示找不到文件。会导致停止集群失败。    这时可以根据系统里面正在运行的hadoop进程相关信息重构一下这些PID文件。即可执行成功
Hadoop机器运行一段时间后hadoop不能stop-all.sh的问题
辉哥大数据
05-26 2468
显示报错no tasktracker to stop ，no datanode to stop 问 题的原因是hadoop在stop的时候依据的是datanode上的mapred和dfs进程号。而默认的进程号保存在/tmp下，linux默认会每 隔一段时间（一般是一个月或者7天左右）去删除这个目录下的文件。因此删掉hadoop-hadoop-jobtracker.pid和hadoop- hado
Hadoop开启、关闭调试信息方法
weixin_34255055的博客
02-24 365
Hadoop开启关闭调试信息 开启：export HADOOP_ROOT_LOGGER=DEBUG,console 关闭：export HADOOP_ROOT_LOGGER=INFO,console 实时查看和修改Hadoop日志级别 Hadoop的日志界面可以通过Hadoop命令和Web界面来修改。Hadoop命令格式：...
hadoop源码剖析--$HADOOP_HOME/bin/hadoop脚本文件分析
dgit3228的博客
08-11 456
1. $HADOOP_HOME/bin/ hadoop #!/usr/bin/env bash# Licensed to the Apache Software Foundation (ASF) under one or more# contributor license agreements. See the NOTICE file distributed with# th...
hadoop的启动和停止命令
我是一块小石头
05-24 1378
sbin/start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager sbin/stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager sbin/start-dfs.sh 启动Hadoop HDFS守护进程NameNode、Seconda
Hadoop的启动和停止说明
aabb7654321的博客
04-13 4026
sbin/start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、NodeManager sbin/stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、ResourceManager、Nod...
hadoop启动命令 start-all.sh失效解决办法
dianzishijian的专栏
07-30 4万+
很多人在配置好了hadoop集群后，输入启动命令 start-all.sh 时，报错：This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh   如下： hadoop@master:~/hadoop-2.6.4$ start-all.sh This script is Deprecated. Inste
Hadoop入门进阶步步高（五）-搭建Hadoop集群
冯立彬的博客
06-15 6858
五、搭建Hadoop集群上面的步骤，确认了单机可以执行Hadoop的伪分布执行，真正的分布式执行无非也就是多几台slave机器而已，配置方面的有一点点区别，配置起来就非常简单了。1、准备三台服务器192.168.56.101192.168.56.102192.168.56.103在每台机器的/etc/hosts中都将ip及hostname给映射上：192.168.56.101  nginx1192
Linux cat命令详解
热门推荐
折翼飞翔
05-11 18万+
cat命令是linux下的一个文本输出命令，通常是用于观看某个文件的内容的； cat主要有三大功能： 1.一次显示整个文件。 $ cat   filename 2.从键盘创建一个文件。 $ cat  >  filename 只能创建新文件,不能编辑已有文件. 3.将几个文件合并为一个文件。 $cat   file1   file2  > file cat具体命令格式为 : cat
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值