shaonianbz的博客

1、什么是Hadoop （1）Hadoop是apache旗下的一套开源软件平台 （2）Hadoop提供的功能：利用服务器集群，根据用户的自定义业务逻辑，对海量数据进行分布式处理 （3）Hadoop的核心组件有： HDFS（分布式文件系统） YARN（运算资源调度系统） MAPREDUCE（分布式运算编程框架） （4）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态...

1、准备工作 （1）准备linux环境：（具体请参考我的linux相关博客，都有介绍，这里就不一一讲解） 将虚拟机的网络模式选为NAT 修改主机名 修改IP 修改主机名和IP的映射关系 关闭防火墙 修改sudo 配置ssh免登陆 （3）下载Hadoop安装包（这里版本为2.6.4） 下载地址：http://hadoop.apache.org/releases.html （4）安装jd...

（1）hdfs客户端的位置 /home/hadoop/apps/hadoop-2.6.4/bin/hadoop （2）启动hdfs查看根目录 [hadoop@mini01 hadoop-2.6.4]$ hadoop fs -ls / （3）上传文件到根目录（此根目录不是Linux的根目录，是hdfs的根目录） #先创建wenjian.txt文件，并写入内容 [hadoop@m...

HDFS的基本概念 1、HDFS前言 （1）设计思想 分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析 （2）在大数据系统中作用 为各类分布式运算框架（如：mapreduce，spark，tez，…）提供数据存储服务 （3）重点概念 文件切块，副本存放，元数据 2、HDFS的概念和特性 概念： （1）它是一个文件系...

1、搭建环境 2、获取api的客户端对象 3、 4、

namenode工作机制 1、namenode职责 （1）负责客户端请求的响应 （2）元数据的管理（查询，修改） 2、元数据管理 namenode对数据的管理采用了三种存储形式： 内存元数据(NameSystem) 磁盘元数据镜像文件 数据操作日志文件（可通过日志运算出元数据） 2.1元数据存储机制 内存中有一份完整的元数据(内存meta data) 磁盘有一个“准完...