MapReduce
关注
分享
扫一扫
文章平均质量分 58
狮锅艺
如何从菜鸟到大神，你需要好好学习！
展开
-
Hadoop实践（三）---MR作业运行（源码详解）
源码解析MapReduce作业处理过程原创 2017-05-25 15:26:47 · 2165 阅读 · 2 评论 -
Hadoop实践（三）---MapReduce作业运行全貌（YARN）
MapReduce作业运行过程原创 2016-10-02 16:34:39 · 1095 阅读 · 0 评论 -
Hadoop实践（二）---集群和开发环境搭建（Intellij IDEA & Maven 开发Hadoop）
Intellij IDEA Maven 开发 Hadoop MapReduce 程序原创 2017-05-23 10:09:40 · 2626 阅读 · 0 评论 -
Hadoop实践（五）---MR相对SQL的应用
SQL语句有一些常用的方法：SELEECT：从一个包含大量列的数据表中选取出这些列的一个子集WHERE：基于应用在各种列中的值的布尔表达式的结果，筛选数据表中的某行AGGREGATION：根据某些属性的分组结果计算其聚合运算值（如MIN,MAX,SUM,GROUP BY， HAVING）SORTING：对输出数据结按照一定规则排序JOIN：根据不同表中相同的列进行夺标的连接操作原创 2017-07-12 09:16:16 · 575 阅读 · 0 评论 -
测试Hadoop程序
多种Hadoop作业的测试方法原创 2017-07-12 09:57:02 · 791 阅读 · 0 评论 -
Hadoop实践（三）---新旧API对比
新旧API的对比和变化原创 2017-06-26 10:03:45 · 1042 阅读 · 0 评论 -
Hadoop实践（三）---MapReduce编程 小技巧
总结一些MapReduce编程中的小技巧原创 2016-09-24 19:57:49 · 1028 阅读 · 0 评论 -
Hadoop实践（三）---MapReduce相关编程笔记
MR应用程序编写笔记原创 2016-09-11 08:53:44 · 851 阅读 · 0 评论 -
Hadoop实践（三）---MapReduce中的输入和输出
MapReduce中处理数据输入和输出的过程原创 2017-06-07 15:03:22 · 5263 阅读 · 0 评论 -
Hadoop实践（一）---Hadoop核心组件之MapReduce
Hadoop核心组件之MapReduce详解原创 2017-05-25 10:33:14 · 1432 阅读 · 2 评论 -
Hadoop实践（一）---Hadoop核心组件之YARN
YARN（Yet Another Resource Negotiator）该框架已经不再是一个传统的MapReduce框架，甚至与MapReduce无关，是一个通用的运行时框架，用户可以编写自己的计算框架，在该运行环境中运行。用于自己编写的框架作为客户端的一个lib，在运用提交作业时打包即可。为啥要开发YARN？那么MR存在哪些缺点和不足？经典 MapReduce 的最严重的限制主要关系到可伸缩性、原创 2017-05-25 19:27:15 · 1718 阅读 · 0 评论 -
Hadoop实践（五）---API之HDFS
HDFS是Hadoop主要应用的一个分布式文件系统。Hadoop中有一个综合性的文件系统抽象，它提供了文件系统实现的各类接口，HDFS是这个抽象文件系统的一个实例。原创 2017-07-01 12:12:25 · 758 阅读 · 0 评论 -
Hadoop实践（三）---MapReduce中的Counter
在Hadoop的MapReduce框架中包括6种Counters，每一种包含若干个Counter，分别对Map和Reduce任务进行统计 Tips：图片中是Hadoop2.7.3 Counters 略有更新 注意区分 其实根据字面意思大概就知道这个Counter是干啥的原创 2017-06-21 07:36:19 · 2680 阅读 · 0 评论 -
Hadoop实践（三）---MapReduce框架编程笔记
MapReduce框架通过把计算逻辑转移到数据所在的机器，而不是把数据转移到其能够处理的机器上，从而充利用本地性优势。原创 2016-08-28 15:57:19 · 955 阅读 · 0 评论 -
Hadoop实践（三）---使用HDFS的Java API
HDFS进阶原创 2016-10-07 16:06:36 · 2616 阅读 · 0 评论 -
Hadoop实践（三）---HDFS Java 应用程序示例
Hadoop快速入门HDFS基础知识转载 2017-02-21 21:34:03 · 1584 阅读 · 0 评论 -
Hadoop实践（三）---WordCount示例
Hadoop快速入门MapReduce编程转载 2017-02-22 16:34:10 · 993 阅读 · 0 评论 -
Hadoop实践（三）---Hadoop API 之 ToolRunner
Apache Hadoop Main API原创 2017-03-14 19:01:49 · 931 阅读 · 0 评论 -
Hadoop实践（四）---MR Job卡住的问题
当出现 job 卡住的时候可以这样排查问题原创 2017-03-19 10:55:39 · 2372 阅读 · 0 评论 -
Hadoop实践（四）---在HDFS中合并文件
HDFS进阶原创 2016-10-07 16:11:05 · 5887 阅读 · 0 评论 -
Hadoop实践（四）---Hadoop集群测试（MR样例）
Hadoop 自带示例程序详解原创 2017-03-18 15:29:17 · 3490 阅读 · 0 评论 -
Hadoop实践(三）---高阶MapReduce
在运行作业处理数据集时，这个作业通常可以通过编写基本的MapReduce程序来生成，但有时需要编写更高级的程序来形成多个作业，或者用他们处理多个数据集。Hadoop有几种不同的方式把多个作业协调在一起，按照顺序链接或按照预定义的依赖关系来执行原创 2017-06-29 16:20:32 · 875 阅读 · 0 评论 -
Hadoop实践（三）---Hadoop数据类型
《Hadoop MapReduce实战手册》学习笔记原创 2016-10-08 15:48:09 · 6213 阅读 · 0 评论