Hadoop
关注
分享
扫一扫
亿万年前的星光
这个作者很懒，什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
MapReduce小文件合并
1.Merge类package com.cxy.merge;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.h...原创 2018-11-23 20:26:32 · 1540 阅读 · 0 评论 -
HDFS的Java API接口
import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FSDataOutputStream;import org.apache.hadoop.fs.Fil...原创 2018-11-22 16:58:36 · 742 阅读 · 0 评论 -
MapReduce序列化、分区、排序、分组
1.main类package com.oracle.xja;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.had...原创 2018-11-22 17:18:11 · 625 阅读 · 0 评论 -
MapReduce使用MultipleOutputs分组输出多个文件
package com.oracle.multiple;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.LongWritable;import org.apache.hado...原创 2018-11-26 19:41:45 · 407 阅读 · 0 评论 -
MapReduce通过多个Map运行不同格式文件
1.Beanpackage com.oracle.join;import java.io.DataInput;import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.io.Writable;public class InfoBean implements Writable{ priv...原创 2018-11-26 19:50:45 · 678 阅读 · 0 评论 -
MapReduce使用DistributedCache关联大表和小表
package com.oracle.join;import java.io.BufferedReader;import java.io.FileReader;import java.io.IOException;import java.util.HashMap;import org.apache.hadoop.conf.Configuration;import org.apache...原创 2018-11-30 19:38:29 · 375 阅读 · 0 评论 -
Hive
HIVE是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射成一张表，并提供SQL查询功能因为是基于hdfs,数据默认存放在/usr/warehouse中进入Hive客户端./bin/hivehive命令交互的几种方式#hive -e "SQL"#hive -f src/hive.sql (通过读取含有SQL语句的文件来执行,不一定是sql为后缀) #hive -f s...原创 2018-12-12 15:24:10 · 1144 阅读 · 0 评论