Hadoop
关注
分享
扫一扫
it.sky
这个作者很懒，什么都没留下…
展开
-
Hadoop读书笔记（一）Hadoop介绍
1.Hadoop是什么？适合大数据的分布式与计算平台。HDFS:Hadoop Distributed File System 分布式文件系统MapReduce:并行计算框架2.HDFS的架构 主从结构 主节点，只有一个：namenode 从节点，有很多个：datanodes namenode负责：接收用户操作请求维护文件系统的目录结构管理文件与block之...2014-10-08 20:53:00 · 168 阅读 · 0 评论 -
Hadoop读书笔记（十三）MapReduce中Top算法
Hadoop读书笔记系列文章：http://blog.youkuaiyun.com/caicongyang/article/category/21668551.说明：从给定的文件中的找到最大值，给定的数据文件格式如下： 5331656517800292911374982668522067918224212228227533691229525...2014-12-02 22:39:00 · 127 阅读 · 0 评论 -
Hadoop读书笔记（十一）MapReduce中的partition分组
Hadoop读书笔记系列文章：http://blog.youkuaiyun.com/caicongyang/article/category/21668551.partition分组partition是指定分组算法，以及通过setNumReduceTasks设定Reduce的任务个数2.代码KpiApp.avapackage cmd;import java.io.DataIn...2014-12-01 22:05:00 · 165 阅读 · 0 评论 -
Hadoop读书笔记（十）MapReduce中的从计数器理解combiner归约
Hadoop读书笔记系列文章：http://blog.youkuaiyun.com/caicongyang/article/category/21668551.combiner问：什么是combiner：答：Combiner发生在Mapper端，对数据进行归约处理，使传到reducer端的数据变小了，传输时间变端，作业时间变短，Combiner不能夸Mapper执行，（只有reduce可以接受多...2014-12-01 21:40:00 · 144 阅读 · 0 评论 -
Hadoop读书笔记（九）MapReduce计数器
Hadoop读书笔记系列文章：http://blog.youkuaiyun.com/caicongyang/article/category/21668551.MapReduce 计数器的作用统计Map、Reduce以及Combiner执行的次数，可以用户简单判断代码的执行流程2.MapReduce自带的计数器 14/11/26 22:28:51 INFO mapred.JobCl...2014-11-26 22:54:00 · 123 阅读 · 0 评论 -
Hadoop读书笔记（八）MapReduce 打成jar包demo
Hadoop读书笔记（一）Hadoop介绍：http://blog.youkuaiyun.com/caicongyang/article/details/39898629Hadoop读书笔记（二）HDFS的shell操作：http://blog.youkuaiyun.com/caicongyang/article/details/41253927Hadoop读书笔记（三）Java API操作HDFS：http:...2014-11-26 21:24:00 · 156 阅读 · 0 评论 -
Hadoop读书笔记（七）MapReduce 0.x版本API使用demo
Hadoop读书笔记（一）Hadoop介绍：http://blog.youkuaiyun.com/caicongyang/article/details/39898629Hadoop读书笔记（二）HDFS的shell操作：http://blog.youkuaiyun.com/caicongyang/article/details/41253927Hadoop读书笔记（三）Java API操作HDFS：http:...2014-11-25 22:31:00 · 127 阅读 · 0 评论 -
Hadoop读书笔记（六）MapReduce自定义数据类型demo
Hadoop读书笔记（一）Hadoop介绍：http://blog.youkuaiyun.com/caicongyang/article/details/39898629Hadoop读书笔记（二）HDFS的shell操作：http://blog.youkuaiyun.com/caicongyang/article/details/41253927Hadoop读书笔记（三）Java API操作HDFS：ht...2014-11-25 21:20:00 · 132 阅读 · 0 评论 -
Hadoop读书笔记（五）MapReduce统计单词demo
Hadoop读书笔记（一）Hadoop介绍：http://blog.youkuaiyun.com/caicongyang/article/details/39898629Hadoop读书笔记（二）HDFS的shell操作：http://blog.youkuaiyun.com/caicongyang/article/details/41253927Hadoop读书笔记（三）Java API操作HDFS：http:...2014-11-24 21:33:00 · 173 阅读 · 0 评论 -
Hadoop读书笔记（四）HDFS体系结构
Hadoop读书笔记（一）Hadoop介绍：http://blog.youkuaiyun.com/caicongyang/article/details/39898629 Hadoop读书笔记（二）HDFS的shell操作:http://blog.youkuaiyun.com/caicongyang/article/details/41253927Hadoop读书笔记（三）Java API操作HDFS：ht...2014-11-20 22:23:00 · 140 阅读 · 0 评论 -
Hadoop读书笔记（三）Java API操作HDFS
Hadoop读书笔记（一）Hadoop介绍：http://blog.youkuaiyun.com/caicongyang/article/details/39898629 Hadoop读书笔记（二）HDFS的shell操作:http://blog.youkuaiyun.com/caicongyang/article/details/41253927JAVA URL 操作HDFSOperateByURL....2014-11-19 22:25:00 · 139 阅读 · 0 评论 -
Hadoop读书笔记（二）HDFS的shell操作
Hadoop读书笔记（一）Hadoop介绍：http://blog.youkuaiyun.com/caicongyang/article/details/39898629 1.shell操作1.1所有的HDFS shell操作命名可以通过hadoop fs获取：[root@hadoop ~]# hadoop fs Usage: java FsShell [-ls <path>] ...2014-11-18 21:23:00 · 136 阅读 · 0 评论 -
Hadoop读书笔记（十四）MapReduce中TopK算法（Top100算法）
Hadoop读书笔记系列文章：http://blog.youkuaiyun.com/caicongyang/article/category/2166855（系列文章会逐步修整完成，添加数据文件格式预计相关注释）1.说明：从给定的文件中的找到最大的100个值，给定的数据文件格式如下： 53316565178002929113749826685220679182...2014-12-11 21:46:00 · 192 阅读 · 0 评论