qq_36470908的博客

1.hadoop的核心：提供了一个共享存储系统HDFS和一个分析处理系统MapReduce。

1.MapReduce是一种可用于数据处理的编程模型，MapReduce程序本质上是并行运行的。2.MapReduce 任务过程分为两个阶段：map阶段和reduce阶段。每个阶段以键/值对作为输入和输出。程序员需要定义两个函数：map函数和reduce函数。3.MapReduce数据处理流程：4.java编程实现：4.1 map函数packag

1.HDFS的设计：以流式数据访问模式来存储超大文件。构建思路：一次写入、多次读取的访问模式2.HDFS数据块：默认大小64M；数据块大是为了最小化寻址开销。3.显示块信息命令：% hadoop fsck / -files -blocks4.HDFS 集群的两类节点：namenode（管理者），datanode（工作者）。namenode管理文件系统的命名空

1.LocalFileSystem 执行客户端的校验和验证 public static void main(String[] args) throws Exception { String uri = args[0]; Configuration conf = new Configuration(); // 执行客户端的校验和验证，系统在么一个需操作的文件目录新建一个.fil

1.准备Linux环境1.0点击VMware快捷方式，右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段：192.168.1.0 子网掩码：255.255.255.0 -> apply -> ok回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 ->