无尽_easy的博客

Hadoop框架的搭建和使用_第六节_hdfs读写流程 面试必备 重点概述特点如下：缺点：HDFS中的block、packet、chunk块太小：寻址时间占比过高。块太大：Map任务数太少，作业执行速度变慢。它是最大的一个单位。HDFS写流程HDFS读流程读写过程，数据完整性如何保持？概述开始之前先看看其基本属性，HDFS（Hadoop Distributed File System）是GFS的开源实现。特点如下：能够运行在廉价机器上，硬件出错常态，需要具备高容错性流式数据访问，而不是随机读写

Hadoop框架的搭建和使用_第五节_hdfs操作命令和hadoop生态体系一，操作命令二，生态体系一，操作命令hdfs命令行（1）查看帮助 hdfs dfs -help （2）查看当前目录信息 hdfs dfs -ls / （3）上传文件 hdfs dfs -put /本地路径 /hdfs路径 （4）剪切文件 hdfs dfs -moveFromLocal a.txt /aa.txt （5）下载文件到本地 hdfs d

Hadoop框架的搭建和使用_第四节_mapreduce小例子单词统计Runnermapperreducer单词统计Runnerpackage com.sxt.mr.wc;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apach

Hadoop框架的搭建和使用_第三节补_hadoop启动错误总汇集群出现错误:hdfs ->[node06 (node07 namenode] (node08 node09 datanode)-<zookeeper集群出现错误:1. node06 node07处于 standly状态 解决 1： 在会话下 执行jps,查看各个节点的状态,发现没有zkfc(DFSZKFailoverController) 原因是 zookeeper集群启动起来之后 没有格式化zkfc ，从而

Hadoop框架的搭建和使用_第三节_hadoop启动注意启动： 第一次启动集群（初始化）1. 会话下 ， zkServer.sh start2. node06下 执行 start-dfs.sh第二次启动 ：启动： 第一次启动集群（初始化）1. 会话下 ， zkServer.sh start2. node06下 执行 start-dfs.sh配置文件:集群中要同步！！！zookeepr配置启动zookeeper集群zkServer.sh start || zk

Hadoop框架的搭建和使用_第二节_hadoop搭建过程伪分布式 （single node setup）一， 安装jdk、配置环境变量，测试全分布安装零 ， 前期准备：HAhdfs.xml安装zookeeper集群：1. 3节点 java 安装2.所有集群节点创建目录: mkdir opt/sxt3.zk压缩包解压在其他路径下:：4.进入conf目录，拷贝zoo_sample.cfg zoo.cfg 并配置dataDir，集群节点。5.单节点配置环境变量、并分发 ZOOKEEPER_PREFIX，共享模式

Hadoop框架的搭建和使用_第一章一、hadoop 1.X版本的 MapReduce1.1 主从架构：JobTracker 和 TaskTracker二、hadoop 1.X 版本的MapReduce存在的问题三、hadoop 2.X 版本之后的MapReduce和YARN3.1 引入资源管理器YARN3.2 YARN的组成YARN主要由4个部分组成：Hadoop框架适用于离线批量处理大文件，主要分为三部分：分布式存储：由HDFS负责；分布式计算：由MapReduce负责；资源（内存等）管理调度