风逍遥-ygq

Hadoop集群启动WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable问题 原因 Apache提供的hadoop本地库是32位的，而在64位的服务器需要自己编译64位的版本。 解决方案 下载对应了64位的版本，如果没有你要的版本就下载hadoop-native-64.tar http://dl.b

启动hadoop时，免密码登录引发的错误：The authenticity of host ‘node01 (192.168.80.11)’ can’t be established. 解决该问题 出现上述报错，主要是4台服务器间的免密码登录出现了问题。在搭建hadoop环境的时候，简单实现了node01可以免密码登录node02，node03，node04，可是虚拟机之后再重新启动后，启动的时候，就出现了上述的问题。这次，配置了4台服务器间的免密码登录。 配置步骤： 进入相应目录，删除原来生

MapReduce的核心思想 1.1分布式的运算程序往往需要分成至少2个阶段。 1.2第一个阶段的MapTask并发实例，完全并行运行，互不相干。 1.3第二个阶段的ReduceTask并发实例互不相干，但是他们的数据依赖于上一个阶段的所有MapTask并发实例的输出。 1.4MapReduce编程模型只能包含一个Map阶段和一个Reduce阶段，如果用户的业务逻辑非常复杂，那就只能多个Map...

1、上传文件 hadoop fs -put test.txt / hadoop fs -copyFromLocal test.txt /test.txt.2 2、下载文件 hadoop fs -get /test.txt.2 hadoop fs -copyToLocal /test.txt.2 3、创建目录 hadoop fs -mkdir /aaa hadoop fs -mkdir -p /bb...

hadoop之hdfs的角色以及读写流程 1. hdfs简介 　hdfs集群分为两大角色：namenode、datanode 1.1、 namenode工作职责： 1.1.1、 记录元数据： 　　　　　　文件的路径 　　　　　　文件的副本数量 　　　　　　文件的切块大小 　　　　　　文件的块信息 　　　　　　文件块的位置信息 1.1.2、 响应客户端请求 1.1.3、 平衡datanode上的文件...

下载Hadoop安装包解压 　　将下载的Hadoop安装包解压到/home/app目录下 　　解压命令：tar -zxvf /hadoop-2.6.0-cdh5.7.0.tar.gz -C /home/app Hadoop环境搭建 2.1 添加Hadoop安装目录到系统环境变量 　　修改配置文件（/etc/profile） 　　修改命令：vi /etc/profile　 　　添加内容： 　　　　...