
hdfs
李白星河
nlp算法工程师
展开
-
HDFS如何查看文本内容
1.查看指定行数的文本hdfs dfs -cat /aaaaa/空白文本.txt | shuf -n 52.查看指定头数的文本hdfs dfs -cat /aaaaa/空白文本.txt | head -1003.查看指定尾数的文本hdfs dfs -cat /aaaaa/空白文本.txt | tail-1004.查看文本行数hdfs dfs -cat /path/txt | wc -...原创 2019-11-25 11:03:02 · 3857 阅读 · 0 评论 -
集群环境准备步骤详解
1.安装jdk创建/export/softwares路径,将jdk压缩包上传到这个路径下创建/export/servers路径,将softwares下的压缩包解压到这个路径下 命令:tar -zxvf /export/softwares/jdk -C ../servers配置环境变量: 进入到/etc/profile.d文件中,创建一个java.sh文件 命令:cd /etc/prof...原创 2019-11-20 09:31:16 · 316 阅读 · 0 评论 -
集群中添加新数据节点和删除旧数据节点节点步骤详解
1.添加节点新节点的准备工作:第一步:复制一台新的虚拟机出来将我们纯净的虚拟机复制一台出来,作为我们新的节点 第二步:修改mac地址以及IP地址修改mac地址命令vim /etc/udev/rules.d/70-persistent-net.rules修改ip地址命令vim /etc/sysconfig/network-scripts/ifcfg-eth0第三步:关闭防火墙,...原创 2019-11-20 09:24:46 · 783 阅读 · 0 评论 -
linux中异常NameNode is not formatted 异常怎么解决?
1.可以直接将NameNode格式化,但是这样NameNode中的数据就会全部没有(对于空白练习集群时可用,其他时候不建议用)2.先关闭集群sbin/stop-all.sh,将secondaryNameNode所在机器的fsimage与edits文件拷贝到namenode所在的fsimage与edits文件夹下面去由于我的secondaryNameNode与namenode安装在同一台机器,都在...原创 2019-11-06 14:41:45 · 2428 阅读 · 2 评论