Hadoop实践
关注
分享
扫一扫
文章平均质量分 76
从开发环境搭建开始一步步进行Hadoop实践
狮锅艺
如何从菜鸟到大神，你需要好好学习！
展开
-
Hadoop实践---导航
Hadoop实践 目录导航原创 2017-06-14 14:47:21 · 1084 阅读 · 0 评论 -
Hadoop实践（四）---MR Job卡住的问题
当出现 job 卡住的时候可以这样排查问题原创 2017-03-19 10:55:39 · 2372 阅读 · 0 评论 -
Hadoop实践（四）---Hadoop管理与维护命令
本文收集和整理了在日常维护hadoop集群时运维工程师需要掌握的最基本的hadoop管理与维护的相关命令原创 2016-10-16 19:16:03 · 813 阅读 · 0 评论 -
Hadoop实践（四）---Hadoop性能优化
**Hadoop参数优化的3个原则： （1）增大作业的并行程度，如增加Map任务的数量 （2）保证任务执行时有足够的资源 （3）满足前两个的情况下，尽可能为shuffle阶段提供资源 【以上适用于大部分分布式计算的框架】原创 2016-09-12 21:32:35 · 4162 阅读 · 0 评论 -
Hadoop实践（四）---Hadoop集群运维
Hadoop集群简单运维指南原创 2016-09-12 21:23:50 · 1490 阅读 · 0 评论 -
Hadoop实践（三）---新旧API对比
新旧API的对比和变化原创 2017-06-26 10:03:45 · 1042 阅读 · 0 评论 -
Hadoop实践（三）---MapReduce中的Counter
在Hadoop的MapReduce框架中包括6种Counters，每一种包含若干个Counter，分别对Map和Reduce任务进行统计 Tips：图片中是Hadoop2.7.3 Counters 略有更新 注意区分 其实根据字面意思大概就知道这个Counter是干啥的原创 2017-06-21 07:36:19 · 2680 阅读 · 0 评论 -
Hadoop实践（三）---MapReduce框架编程笔记
MapReduce框架通过把计算逻辑转移到数据所在的机器，而不是把数据转移到其能够处理的机器上，从而充利用本地性优势。原创 2016-08-28 15:57:19 · 955 阅读 · 0 评论 -
Hadoop实践（三）---MapReduce作业运行全貌（YARN）
MapReduce作业运行过程原创 2016-10-02 16:34:39 · 1095 阅读 · 0 评论 -
Hadoop实践（三）---使用HDFS的Java API
HDFS进阶原创 2016-10-07 16:06:36 · 2616 阅读 · 0 评论 -
Hadoop实践（三）---Hadoop数据类型
《Hadoop MapReduce实战手册》学习笔记原创 2016-10-08 15:48:09 · 6213 阅读 · 0 评论 -
Hadoop实践（三）---HDFS Java 应用程序示例
Hadoop快速入门HDFS基础知识转载 2017-02-21 21:34:03 · 1584 阅读 · 0 评论 -
Hadoop实践（三）---WordCount示例
Hadoop快速入门MapReduce编程转载 2017-02-22 16:34:10 · 993 阅读 · 0 评论 -
Hadoop实践（三）---Hadoop API 之 ToolRunner
Apache Hadoop Main API原创 2017-03-14 19:01:49 · 931 阅读 · 0 评论 -
Hadoop实践（三）---MapReduce相关编程笔记
MR应用程序编写笔记原创 2016-09-11 08:53:44 · 851 阅读 · 0 评论 -
Hadoop实践（三）---MapReduce编程 小技巧
总结一些MapReduce编程中的小技巧原创 2016-09-24 19:57:49 · 1028 阅读 · 0 评论 -
Hadoop实践（三）---MR作业运行（源码详解）
源码解析MapReduce作业处理过程原创 2017-05-25 15:26:47 · 2165 阅读 · 2 评论 -
Hadoop（二）---Hadoop集群的安全设置
配置hadoop的安全模式原创 2016-12-30 19:48:45 · 8357 阅读 · 0 评论 -
Hadoop实践（二）---Hadoop集群的使用和配置
Hadoop脚本命令和配置细节原创 2016-10-08 20:42:01 · 792 阅读 · 0 评论 -
Hadoop实践（二）---Eclipse Hadoop插件安装
Eslipse中Hadoop插件的设置原创 2016-10-15 16:07:23 · 753 阅读 · 0 评论 -
Hadoop实践（二）---Hadoop单机模式
Hadoop 2.7.3 单机模式设置原创 2016-12-29 09:24:19 · 1538 阅读 · 0 评论 -
Hadoop实践（二）---集群搭建之Hadoop 2.7.3
Hadoop 2.7.3 全分布式配置原创 2016-12-28 20:33:32 · 1543 阅读 · 0 评论 -
Hadoop实践（二）---集群搭建之Hadoop 2.7.1
大型集群完全分布式构建原创 2016-10-07 16:19:37 · 2426 阅读 · 0 评论 -
Hadoop实践（二）---集群和开发环境搭建（Intellij IDEA & Maven 开发Hadoop）
Intellij IDEA Maven 开发 Hadoop MapReduce 程序原创 2017-05-23 10:09:40 · 2626 阅读 · 0 评论 -
Hadoop实践（一）---Hadoop核心组件之MapReduce
Hadoop核心组件之MapReduce详解原创 2017-05-25 10:33:14 · 1432 阅读 · 2 评论 -
Hadoop实践（一）---Hadoop核心组件之YARN
YARN（Yet Another Resource Negotiator）该框架已经不再是一个传统的MapReduce框架，甚至与MapReduce无关，是一个通用的运行时框架，用户可以编写自己的计算框架，在该运行环境中运行。用于自己编写的框架作为客户端的一个lib，在运用提交作业时打包即可。为啥要开发YARN？那么MR存在哪些缺点和不足？经典 MapReduce 的最严重的限制主要关系到可伸缩性、原创 2017-05-25 19:27:15 · 1718 阅读 · 0 评论 -
Hadoop实践（一）---Hadoop核心组件之HDFS
Hadoop核心组件之HDFS详解原创 2017-05-24 16:59:19 · 2998 阅读 · 0 评论 -
Hadoop实践（零）---Hadoop项目生态系统
Hadoop生态系统中常见的项目原创 2017-02-19 20:35:04 · 891 阅读 · 0 评论 -
Hadoop实践（零）---Hadoop作为数据湖
Hadoop作为数据湖的简单认识原创 2017-02-19 17:06:49 · 2981 阅读 · 0 评论