
Hadoop
Mr.ChowSit
古人云:survive in disaster perish in comfort
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
大数据踩过的坑
本篇文章主要针对在大数据实战过程中遇到问题的总结!!! Yarn连接错误: 20/01/27 15:29:53 INFO Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8032. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(...原创 2020-01-27 14:16:56 · 580 阅读 · 0 评论 -
MapReduce自定义类设置中文属性写出到HDFS乱码
自定义类中重写write和readFields方法 @Override public void write(DataOutput out) throws IOException { out.writeUTF(this.name); out.writeUTF(this.course); } @Override public void readFields(DataInput i...原创 2019-08-03 10:36:52 · 297 阅读 · 0 评论 -
MapReduce综合案例(自定义类+分区+优化器+分组)
数据: 班级|姓名|学科|成绩(存在重复) ClassA|Jack|Math|95 ClassA|Jack|Math|95 ClassA|Jack|English|95 ClassA|Jack|English|95 ClassA|Tom|Math|85 ClassA|Tom|Math|85 ClassA|Tom|English|85 ClassA|Tom|English|85 ClassA|...原创 2019-08-07 23:34:54 · 1965 阅读 · 0 评论 -
MapReduce经典案例爷孙关系(自连接MapJoin和ReduceJoin的两种实现)
需求: 求出所有具有爷孙关系的人 数据来源: 儿子 父亲 Tom Lucy Tom Jack Jone Lucy Jone Jack Lucy Mary Lucy Ben Jack Alice Jack Jesse Terry Alice Terry Jesse Philip Terry Philip Alma Mark Terry Mark Alma reduce-join 处理...原创 2019-08-05 23:04:49 · 1874 阅读 · 0 评论 -
Hadoop2.7.7源码编译(Windows7)
源码包准备【hadoop-2.7.7-src.tar.gz】 略 解压后找到构建说明【BUILDING.txt】,看一下基本要求都有什么 * Windows System Windows7 * JDK 1.7+ * Maven 3.0 or later * Findbugs 1.3.9 (if running findbugs) findbugs -version ...原创 2019-08-06 08:24:42 · 1658 阅读 · 1 评论 -
Hadoop2.7.7源码编译(Centos6.10)
源码包准备【hadoop-2.7.7-src.tar.gz】 略 解压后找到构建说明【BUILDING.txt】,看一下基本要求都有什么 安装以下软件【以防万一】没有列全: yum install -y gcc yum install -y gcc-c++ yum install -y make * Unix System Centos6.10 * JDK 1.7+ 略 ...原创 2019-08-01 21:37:29 · 1740 阅读 · 0 评论