
大数据
得意霄尽欢
人生得意须尽欢,莫使金樽空对月。
展开
-
springboot整合hadoop
首先引入maven依赖 <!-- hadoop--> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>3.1.4</version> </dep原创 2021-06-25 08:20:41 · 1048 阅读 · 0 评论 -
hadoop常用Linux命令
创建文件夹 [root@hadoop102 wcinput]# hadoop fs -mkdir /input01 # input01是文件夹名 将本地文件剪切到hadoop [root@hadoop102 wcinput]# ls word.txt [root@hadoop102 wcinput]# hadoop fs -moveFromLocal ./word.txt /input01 将本地文件拷贝到hadoop [root@hadoop102 wcinput]# ls word.原创 2021-06-24 16:00:12 · 225 阅读 · 0 评论 -
hadoop配置
1.scp 实现服务器与服务器之间的数据拷贝 scp -r $pdir/$fname $user@$host:$pdir/$fname 命令 递归 文件夹 文件名 目的用户 目的主机 ... 实例 scp ./hello.txt root@hadoop103:/opt/ # 这里是实现将本机的hello.txt文件拷贝到hadoop103主机下的/opt/目录 # 这里的hadoop103通过/etc/hosts文件配置了ip地址映射 2.rsync 实现服务器与服务器之间的数据同步,只会原创 2021-06-19 23:53:42 · 427 阅读 · 2 评论