落幕7的博客

hadoop启动后安全模式问题问题：正常启动hadoop集群后，准备在hadoop里创建一个目录结果出现如下：[root@master ~]# hdfs dfs -mkdir -p /spark/data/words/mkdir: Cannot create directory /spark/data/words. Name node is in safe mode.原因：hdfs在启动开始时会进入安全模式，这时文件系统中的内容不允许修改也不允许删除，直到安全模式结束。安全模式主要是为了系统启动的

zookeeper3.4.10搭建1、上传安装包到master并解压2、配置环境变量3、修改配置文件4、同步到其它节点5、创建/usr/local/soft/zookeeper-3.4.10/data目录,所有节点都要创建6、启动zk，7.连接zk8.zk shell9.重置zk1、上传安装包到master并解压tar -zxvf zookeeper-3.4.10.tar.gz2、配置环境变量vim /etc/profile#添加如下两个内容export ZOOKEEPER_HOME=/usr

yarn工作原理

HDFS基本操作命令和读写原理一、基本操作命令1、创建目录 mkdir2、查看文件，ls 没有cd命令， 需要指绝对路径3、上传文件 put4、下载文件 get5、复制 cp6、查看文件内容 cat , 如果数据量比较大，不能使用7、移动 mv, 物理层面文件没有移动，只是改变了元数据（目录结构）8、删除文件或者目录 rmr8.1回收站自动清理8.2手动删除回收站8.3强制删除，-skipTrash 当需要删除的文件比较大的时候9、查看文件末尾 tail -f ; 一直等待

正文 MapReduce 编程模型 MapReduce 编程模型开发简单且功能强大，专门为并行处理大规模数据量而设计，接下来，通过一张图来描述 MapReduce 的工作过程，如图所示。 关于 MapReduce 编程模型的更多细节请参考我的这篇博客——MapReduce 编程模型到底是怎样的？ 整体流程 在上图中， MapReduce 的工作流程大致可以分为5步，具体如下: 分片、格式化数据源 输入 Map 阶段的数据源，必须经过分片和格式化操作。 分片操作：指的是将源

ZookeeperAPI

1，通过修改map的切片大小控制map数据量（尽量和block大小保持一致）并不是map越多越好，根据集群资源set mapred.max.split.size=2560000002，合并小文件。因为一个文件会至少生成一个map3，避免数据倾斜4，combine操作5，mapjoin操作6，适当备份，因为备份多可以本地化生成map任务...

HdfsHA高可用搭建

Hadoop APIjava API maven依赖1.创建文件夹2.上传文件3.下载文件4.移动或者重命名5.删除文件/文件夹6.查看目录信息7.判断文件是否存在8.写入文件9.读取文件流命令1.上传文件 hadoop fs -put 文件 hdfs文件夹hadoop fs -put test.txt /files #将test.txt文件上传到hdfs文件夹files下2.删除文件hadoop fs -rm -r 文件/文件夹hadoop fs -rm -rf /quanfeihu/

hadoop2.7.6完全分布式集群搭建前提开始搭建hadoop集群1、关闭防火墙 master,slave1,slave2都要进行2、设置免密钥登录3、上传hadoop安装包 上传到msater 的/usr/local/jar/4、解压5、配置环境变量6、修改配置文件6.1、slaves ： 从节点列表（datanode）6.2、hadoop-env.sh ： Hadoop 环境配置文件6.3、core-site.xml ： hadoop核心配置文件6.4、hdfs-site.xml ： hdfs配置文件

MapReduce的WordCount案例案例一：统计单词个数案例二：按班级统计年龄总和案例一：统计单词个数首先准备一个word.txt文件上传到Linux（内容随意，一行只有一个单词就行）然后hdfs dfs -put 你的txt存放目录 上传到hdfs的要存放目录例：hdfs dfs -put /usr/local/data/word.txt /wordpackage com.liu.hadoop;import org.apache.hadoop.conf.Configuratio