
大数据平台Hadoop
hashcon
做自媒体技术分享很久了,大家的抬爱与支持让我很开心很感激,但是个人本来做这些也并不是为了收益,只是为了个人学习与传播知识帮助更多的人,所以我将全网所有账号全部收益,持续捐给各种公益项目,也算不辜负大家的抬爱,也是回报祖国对我的一番培养。
曾任职于顺丰,华为,网易等公司,从Java小白,成长为资深开发与项目组首席架构师。喜欢源码与开源,曾贡献 MyCat1.6 核心源码,贡献过druid,Spring Cloud,dubbox,Apache RocketMQ,Apache Bookeeper 等多开源项目。
展开
-
Hadoop使用学习笔记(4)
Hadoop使用学习笔记2. 基本Map-Reduce工作配置与原理(下)之前的任务: 用新的API如下:package com.hash.test.hadoop.mapred;import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.conf.Configured; import org.apache.hadoop原创 2016-08-03 15:31:19 · 5566 阅读 · 0 评论 -
Hadoop使用学习笔记(3)
Hadoop使用学习笔记2. 基本Map-Reduce工作配置与原理(中)我们先用老版本的API编写,下一篇会用新的API,并解释区别: 环境配置: 提交Job,开发IDE所在机器环境:Windows 7,4C8G,IntelliJ IDEA 15. Hadoop集群环境:第一篇中已经提到,Linux环境的集群。由于我们是跨环境提交任务,所以源代码和配置上多了很多麻烦事。 首先,确认wind原创 2016-08-03 11:21:04 · 19833 阅读 · 3 评论 -
Hadoop使用学习笔记(1)
Hadoop使用学习笔记1.Hadoop安装与基本概念Hadoop发行版本地址1.1环境配置需求本文是用的Hadoop版本是最新的2.7.2发行版。 本文分两个机器环境,分别是研发环境和测试环境:本地环境配置(配置较好,用于压测): 操作系统: LSB Version: :base-4.0-amd64:base-4.0-noarch:core-4.0-amd64:core-4.0-noa原创 2016-07-18 15:29:14 · 23353 阅读 · 0 评论 -
Hadoop使用学习笔记(2)
Hadoop使用学习笔记2. 基本Map-Reduce工作配置与原理(上)我们假设MapReduce任务为统计所有文件中每个词语出现次数。整个MapReduce流程主要如下所示,可以分为四步:我们将统计所有文件中每个词语出现次数拆分成为: 文件输入转换成Map工作可处理的键值对(后面我们会知道是以文件位置为key,文件内容为value) Map:提取上一步value中的所有词语,生成以词语为key,原创 2016-08-03 10:36:06 · 6089 阅读 · 2 评论 -
Hadoop使用学习笔记(5)
Hadoop使用学习笔记 3. Map-Reduce本地调试全程Debug(上) 将之前的项目中的Resource中的除了log4j配置其他的文件全部删除。同时,添加本地库(就是之前从集群中拷贝下来的Hadoop文件夹),添加其目录下的share/hadoop中的所有文件作为一个library,如下所示: 之后,注释掉删除/test/ouput那一行代码,因为本地运行无法这样删除原创 2016-08-08 09:14:50 · 23499 阅读 · 0 评论