elpsyco的博客

大数据&hadoop生态圈大数据理解hadoop生态圈 大数据理解 大批量数据，海量数据 解决海量出现产生的一系列问题 1 .如何保存 分开储存 ：保证数据的完整，保证数据的唯一性，只被储存了一次 2 .如何分析 多个节点一起读部分数据，再一起计算 3 .怎么分析的快 1.堆硬件 纵向堆：增加每个节点的配置 横向堆：增加节点的数量，效果会更好 2.算法优化，归根结底：资源利用率最大 3.优...

Hadoop: 1.安装 官网 http://hadoop.apache.org/docs/r2.7.7/hadoop-project-dist/hadoop-common/SingleCluster.html 1.三种运行模式 1.本地模式 standalone 不需要启动任何服务，直接使用命令去运行任务 2.伪分布式模式 运行规则和分布式一样，但是只运行在一个节点上 配置文件 （1）etc/h...

hadoop分布式 1 . 准备3台 客户机 （配置静态ip，主机名称） 2 . 安装JDK 3 . 配置环境变量 export JAVA_HOME=/opt/programs/jdk1.8.0_11 export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar e...

1 初始化操作 bin/hdfs namenode -format 初始化作用： 1.会生成namenode的文件目录结构 in_use.lock是在使用的时候生成和 edits相关的也是在使用之后生成 2. 确定了三个id namespace cluster blockpool namespaceID：是系统文件的唯一标识符，格式化文件系统之后会生成 clusterID ：生成的集群的ID b...

1 初始化操作 bin/hdfs namenode -format 初始化作用： 会生成namenode的文件目录结构 in_use.lock是在使用的时候生成 和edits相关的也是在使用之后生成 确定了三个id namespace cluster blockpool namespaceID：是系统文件的唯一标识符，格式化文件系统之后会生成 clusterID ：生成的集群...

namenode启动过程 开启安全模式 不能执行修改数据的操作 加载fsimage 逐个执行所有的Edits文件中的每一条操作将操作合并到fsimage 完成后生成一个空的edits文件 接受datanode发送来的信息和块信息 根据以上信息来确定文件系统状态 退出安全模式 退出安全模式的条件 dfs.namenode.safemode.min.datanodes ：最小可用的datan...

1 客户端通过Distributed FileSystem模块向NameNode请求上传文件，namenode会进行校验 2 namenode返回可以上传 3 客户端请求上传第一个block 到哪几个DataNode上 4 datanode返回三个节点 分别为d1,d3,d6 5 客户端请求d1上传数据 ，d1收到请求会调用d3， d3继续调用d6 ，将这个通信管道建立完成 6 d1，d3，...

1 sn请求是否需要checkpoint （更新fsimage） 2 滚动日志记录，在新的edits_inprogress记录操作日志 3 拷贝相关文件到sn edits （除了edits_inprogress）只会拷贝除了sn上面fsimage编号以后的edits fsimage （只会在初始化集群之后的第一次拷贝） 4 加载编辑日志和镜像文件到内存，然后合并 5 生成新的fsimag...

首次启动Namenode时怎么格式化？为什么要格式化？非首次启动时，是否只要成功启动了Namenode 和Datanode ，HDFS就能立刻对外提供服务？ 1 会生成namenode文件目录结构 2 确定了三个ID namespace cluster blockpool 3 生成了fsimage_000 不会立刻对外提供服务， namenode启动过程 : 开启安全模式 加载fsi...