云帆大数据-优快云博客

原创企业级Hadoop 2.x入门系列之十二入门视频分享

网上流传飞非常好的《Hadoop 2.x入门学习视频》，在此将网盘下载地址分享给大家课程相关【软件与工具】：链接：http://pan.baidu.com/s/1hqEGFQk 密码：b4sh第一次课程：链接：http://pan.baidu.com/s/1bnetfZL 密码：92cb第二次课程：链接：http://pan.baidu.com/s/

2015-01-03 12:07:37 2854

原创企业级Hadoop 2.x入门系列之五Hadoop2.2 伪分布式安装

Step01：设置hadoop用户无密码sudo权限root用户登录：[root@localhost/]# cd /etc[root@localhostetc]# chmod u+w /etc/sudoers[root@localhostetc]# vim /etc/sudoers在首行添加内容如下：hadoopALL=(root)NOPASSWD:ALL

2014-12-31 12:18:08 909

原创企业级Hadoop 2.x入门系列之二Hadoop 2.2.0源码编译

2.1下载地址1、ApacheHadoop（100%永久开源）下载地址：- http://hadoop.apache.org/releases.html - SVN：http://svn.apache.org/repos/asf/hadoop/common/branches/2、CDH（ClouderaDistributed Hadoop，100%永久开源）下载地址：

2014-12-30 12:39:44 2096

原创企业级Hadoop 2.x入门系列之十一MapReduce Uber 模式

Uber 模式是 Hadoop 2.X 中实现的一种针对MR小作业的优化机制。即如果作业足够小，则所有task在一个jvm（mr app master）中完成要比为每个task启动一个container更划算。当在运行作业的时候会有这样的提示： Jobjob_1404960815149_0001 running in uber mode : false说明默认情况

2015-01-03 12:02:38 1504

原创企业级Hadoop 2.x入门系列之十MapReduce 程序相关日志

MapReduce 程序相关日志u MapReduce 程序日志分为历史作业日志和Container日志。u 历史作业的记录里面包含了一个作业用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。可以通过这些历史作业记录得到每天有多少个作业运行成功、有多少个作业运行失败、每个队列作业运行了多少个作业等很有用的信息。u Container日志包含

2015-01-03 12:01:39 765

原创企业级Hadoop 2.x入门系列之九Hadoop核心配置文件的默认配置解读

Hadoop核心配置文件的默认配置解读9.1 默认配置文件4个核心的默认配置文件在$HADOOP_HOME/share/hadoop/目录下：hadoop-2.2.0\share\hadoop\common\hadoop-common-2.2.0.jar\core-default.xmlhadoop-2.2.0\share\hadoop\hdfs\hadoop-hdfs-2.2.0

2015-01-03 11:59:17 2244

原创企业级Hadoop 2.x入门系列之八HDFS和YARN的启动方式

HDFS和YARN的启动方式8.1三种启动方式介绍Ü 方式一：逐一启动（实际生产环境中的启动方式） hadoop-daemon.shyarn-daemon.shÜ 方式二：分开启动 start-dfs.shstart-yarn.shÜ 方式三：一起启动 start-all.sh8.2脚本解读start-dfs.sh脚本：

2015-01-02 14:32:17 1698

原创企业级Hadoop 2.x入门系列之七YARN的Shell操作与管理

YARN的Shell操作与管理7.1启动YARNYARN有2个守护线程：ResourceManager、NodeManager。[hadoop@localhost hadoop-2.2.0]$sbin/yarn-daemon.sh start resourcemanager[hadoop@localhost hadoop-2.2.0]$sbin/yarn-daemon.sh s

2015-01-02 14:28:37 978

原创企业级Hadoop 2.x入门系列之六HDFS的Shell操作与管理

HDFS的Shell操作与管理6.1启动HDFSStep01：格式化NameNode[hadoop@hadoop-yarn hadoop-2.2.0]$ bin/hdfsnamenode –format说明：namenode在格式化的时候会产生一个ClusterID。也可以在格式化的时候自定义指定ID：bin/hdfsnamenode –format –cluste

2015-01-02 14:26:41 933

原创企业级Hadoop 2.x入门系列之四HDFS文件系统和YARN资源管理框架简介

3. HDFS架构简介u NameNode是主节点，存储文件的元数据如文件名，文件目录结构，文件属性（生成时间,副本数,文件权限），以及每个文件的块列表和块所在DataNode等。u DataNode 在本地文件系统存储文件块数据，以及块数据的校验和。u Secondary NameNode 用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快

2014-12-31 12:16:12 866

原创企业级Hadoop 2.x入门系列之三将Hadoop 2.x源码导入Eclipse中

2.5 Eclipse导入源码Step1：使用Maven构建Eclipse项目官方说明：Importing projects to eclipse When you import the project to eclipse, installhadoop-maven-plugins at first. $ cd hadoop-maven-plugins $ mv

2014-12-31 12:10:35 1105

原创企业级Hadoop 2.x入门系列之一Apache Hadoop 2.x简介与版本

1.1 Hadoop简介从Hadoop官网获得Hadoop的介绍：http://hadoop.apache.org/(1)What Is Apache Hadoop?TheApache™ Hadoop® project develops open-source software for reliable,scalable, distributedcomputing.TheA

2014-12-29 12:06:42 2043