elpsyco的博客

大数据&hadoop生态圈大数据理解hadoop生态圈大数据理解大批量数据，海量数据解决海量出现产生的一系列问题1 .如何保存分开储存 ：保证数据的完整，保证数据的唯一性，只被储存了一次2 .如何分析多个节点一起读部分数据，再一起计算3 .怎么分析的快1.堆硬件纵向堆：增加每个节点的配置横向堆：增加节点的数量，效果会更好2.算法优化，归根结底：资源利用率最大3.优...

Hadoop:1.安装官网http://hadoop.apache.org/docs/r2.7.7/hadoop-project-dist/hadoop-common/SingleCluster.html1.三种运行模式1.本地模式 standalone不需要启动任何服务，直接使用命令去运行任务2.伪分布式模式运行规则和分布式一样，但是只运行在一个节点上配置文件（1）etc/h...

hadoop分布式1 . 准备3台 客户机 （配置静态ip，主机名称）2 . 安装JDK3 . 配置环境变量export JAVA_HOME=/opt/programs/jdk1.8.0_11export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jare...

1 初始化操作bin/hdfs namenode -format初始化作用：1.会生成namenode的文件目录结构in_use.lock是在使用的时候生成和edits相关的也是在使用之后生成2. 确定了三个id namespace cluster blockpoolnamespaceID：是系统文件的唯一标识符，格式化文件系统之后会生成clusterID ：生成的集群的IDb...

1 初始化操作bin/hdfs namenode -format初始化作用：会生成namenode的文件目录结构 in_use.lock是在使用的时候生成 和edits相关的也是在使用之后生成确定了三个id namespace cluster blockpoolnamespaceID：是系统文件的唯一标识符，格式化文件系统之后会生成 clusterID ：生成的集群...

namenode启动过程开启安全模式 不能执行修改数据的操作加载fsimage逐个执行所有的Edits文件中的每一条操作将操作合并到fsimage 完成后生成一个空的edits文件接受datanode发送来的信息和块信息根据以上信息来确定文件系统状态退出安全模式退出安全模式的条件dfs.namenode.safemode.min.datanodes ：最小可用的datan...

1 客户端通过Distributed FileSystem模块向NameNode请求上传文件，namenode会进行校验2 namenode返回可以上传3 客户端请求上传第一个block 到哪几个DataNode上4 datanode返回三个节点 分别为d1,d3,d65 客户端请求d1上传数据 ，d1收到请求会调用d3， d3继续调用d6 ，将这个通信管道建立完成6 d1，d3，...

1 sn请求是否需要checkpoint （更新fsimage）2 滚动日志记录，在新的edits_inprogress记录操作日志3 拷贝相关文件到snedits （除了edits_inprogress）只会拷贝除了sn上面fsimage编号以后的editsfsimage （只会在初始化集群之后的第一次拷贝）4 加载编辑日志和镜像文件到内存，然后合并5 生成新的fsimag...

首次启动Namenode时怎么格式化？为什么要格式化？非首次启动时，是否只要成功启动了Namenode 和Datanode ，HDFS就能立刻对外提供服务？1 会生成namenode文件目录结构2 确定了三个ID namespace cluster blockpool3 生成了fsimage_000不会立刻对外提供服务，namenode启动过程 :开启安全模式加载fsi...