
Hadoop
文章平均质量分 61
jose_yubin
这个作者很懒,什么都没留下…
展开
-
HDFS的shell操作
ls查看hdfs的list[root@master sbin]# hadoop fs -ls hdfs://master:9000ls: `hdfs://master:9000': No such file or directory[root@master sbin]# hadoop fs -ls hdfs://master:9000/Found 4 items-r原创 2016-11-28 09:44:53 · 340 阅读 · 0 评论 -
hadoop伪分布式安装步骤
1 关闭防火墙主要是为了省事儿,方便多个结点之间通信2修改ip防止机器重新启动ip地址修改,方便定位3修改hostnameip地址和主机名映射配置4配置ssh自动登录一台机器给另一台机器发送命令原创 2016-11-27 09:42:19 · 251 阅读 · 0 评论 -
分布式文件系统理解
定义: 数据量越来越多,一个操作系统管辖的范围存不下,那么就需要分配到更多的操作系统管理的磁盘中,但是不方便管理和维护。因此就需要一个系统来管理多台机器上的文件,这就是分布式文件管理系统。 允许文件通过网络在多台主机上分享的文件系统,可以让多台机器上的多用户分享文件和存储空间。容错,即使系统中某些节点脱机,整体来说系统仍然可以持续运作,不会有数据损伤。这一点可以用多个地方存储来解决。原创 2016-11-27 09:44:46 · 549 阅读 · 0 评论 -
hadoop伪分布式修改该配置文件(5个)
1 hadoop-env.sh 添加JAVA_HOME2 core-site.xml第一个属性用来指定HDFS老大得地址,也就是NameNode的地址value值是主机名加端口号,如果在host文件中添加了主机名和ip映射,主机名也可以用ip地址替换。。。。。 fs.defaultFS hdfs://master:9000原创 2016-11-27 14:57:27 · 2483 阅读 · 0 评论 -
hadoop初始化和测试
只修改hadoop的5个配置文件并不能启动hadoop还要把hadoop的环境变量配置一下gedit /etc/profile在最后面添加export HADOOP_HOME=/master/hadoop-2.5.2export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin然后source /etc/profile刷新配置原创 2016-11-27 15:33:48 · 7421 阅读 · 0 评论 -
配置SSH免密码登陆(非对称加密)和原理
在SecureCRT上创建对两台虚拟机的链接,然后在其中一个上走SSH协议,给另一台机器输命令这是在192.168.8.88上面输入命令。。。。[root@master ~]# ssh 192.168.8.99 mkdir /jose通过SSH即使自己给自己输命令都要输入密码hadoop启动的时候只需要一台机器就可以把其他机器启动,因此需要用到SSH--------------原创 2016-11-28 08:53:58 · 1262 阅读 · 1 评论