fanfan4569的博客

文章目录一、编程模型`WordCount` 计算过程二、计算框架（1）`MR`作业启动（2）`MR`数据合并与连接机制大数据计算的核心思路是移动计算比移动数据更划算MapReduce 既是一个编程模型，又是一个计算框架开发人员必须基于 MapReduce 编程模型进行编程开发，然后将程序通过 MapReduce 计算框架分发到 Hadoop 集群中运行MapReduce 可进行关系代数...

文章目录一、核心概念（1）块（2）名称节点（NameNode）名称节点启动（3）数据节点（DataNode）（4）第二名称节点（SecondaryNameNode）Hadoop由三个模块组成:分布式存储 HDFS分布式计算 MapReduce资源调度引擎 YarnHDFS 架构图：一、核心概念（1）块为了提高磁盘读写效率，以数据块为单位，而不是以字节为单位（数据块...

前言：开始学习Hadoop喽 []~(￣▽￣)~*预备工作：专创个用户为hadoop（当然也可以不用）#这条命令创建了可以登陆的 hadoop 用户，并使用 /bin/bash 作为 shell。sudo useradd -m hadoop -s /bin/bash #设置密码sudo passwd hadoop#可为 hadoop 用户增加管理员权限sudo adduser had

伪分布式安装时指在一台机器上模拟一个小的集群，但是集群中只有一个节点。当Hadoop应用于集群时，都需要通过配置文件对各组件的协同工作进行设置 文件名称 格式 描述 hadoop-env.sh Bash脚本 记录配置Hadoop运行所需的环境变量，以运行Hadoop core-site.xml Hadoop配置XML Hadoop core的配置项，如HDFS和M

实验步骤① 从该目录中过滤出所有后缀名不为”.abc”的文件② 对过滤之后的文件进行读取③ 将这些文件的内容合并到文件”hdfs://localhost:9000/user/hadoop/merge.txt”预备重要：配置1 ，配置2 因为凡凡使用virtualbox虚拟机，本地想访问虚拟机中Ubuntu。 （1）配置

参考： 《大数据技术原理与应用》 http://www.jianshu.com/p/0663d74b79b5一、实现目的理解HDFS在Hadoop体系结构中的角色熟练使用HDFS操作常用的Shell命令熟悉HDFS操作常用的Java API二、实验平台操作系统：Ubuntu 16Hadoop版本：2.7.3JDK 版本：1.8Java IDE： Eclipse三、实验

Hadoop1.x 组件 名称节点（NameNode） 简介 维护这存储在HDFS上的所有文件的元数据信息（内存元数据：包含DataNode上块的映射信息） [DataNode]：数据节点，是分布式文件系统HDFS的工作节点，负责数据的存储和读取。 管理分布式文件系统的命名空间（Namenode）————[文件系统文件目录的组织方式] 保存了两个核心的数据结