hadoop
关注
分享
扫一扫
Simon_Sun_1984
计算机专业，毕业荒废，三十而立，重拾旧业。
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
MapReduce三次排序
题目： 20170308,小强,小牛斗地主,22,360手机助手,0.2版本,北京 20170308,小强,小牛斗地主,14,360手机助手,0.3版本,北京 20170308,小强,小牛斗地主,13,360手机助手,0.3版本,北京 20170308,小强,小牛斗地主,16,360手机助手,0.4版本,北京 20170308,小强,小牛斗地主,18,360手机助手,0.4版本,北京原创 2017-05-07 16:42:59 · 1081 阅读 · 0 评论 -
Delegation Token
转自：http://yangyoupeng-cn-fujitsu-com.iteye.com/blog/1812164 若设置了dfs.block.access.token.enable=true时，启动时的日志中： 会有这样两条日志： 2013-02-21 19:59:07,006 INFO org.apache.hadoop.hdfs.server.blockmanagement.B转载 2017-08-11 16:00:24 · 653 阅读 · 0 评论 -
hdfs fsck命令查看HDFS文件对应的文件块信息(Block)和位置信息
在HDFS中，提供了fsck命令，用于检查HDFS上文件和目录的健康状态、获取文件的block信息和位置信息等。 fsck命令必须由HDFS超级用户来执行，普通用户无权限。转载 2017-11-10 09:48:32 · 1693 阅读 · 0 评论 -
使用teragen产生数据
转载地址：http://www.opstool.com/article/249 使用Teragen来产生数据，示例如下： hadoop jar hadoop-*-examples.jar teragen 参数1 参数2 teragen的参数解释： 参数1：表示要产生的数据的行数。Teragen每行数据的大小是100B。 要产生1T的数据，需要的行数=102410241024*转载 2017-11-10 10:03:58 · 2872 阅读 · 0 评论 -
mvn项目pom.xml写法(hadoop)
mvn项目pom.xml写法(hadoop)原创 2017-11-29 14:19:51 · 1073 阅读 · 0 评论 -
HDFS工具类
HDFS工具类原创 2017-11-28 11:52:57 · 408 阅读 · 0 评论 -
mapreduce针对n列orc文件的读写
建300列的ORC表，可以用execl简单建一个300列，10000行的数据，复制成以tab分割的txt文件 hdfs dfs -put ddd.txt hdfs://hadoop:9000/tmp/input/ create table test_orc_300( c1 string , c2 string , c3 string , c4 str...原创 2018-04-09 11:02:40 · 1003 阅读 · 0 评论 -
用mapreduce写wordcount
import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IntWritable; import org.a...原创 2018-04-09 11:06:19 · 348 阅读 · 0 评论 -
The auxService:mapreduce_shuffle does not exist问题解决
调试mapreduce发现问题 Container launch failed for container_1522728182746_0001_01_000004 : org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:mapreduce_shuffle does not exist ...原创 2018-04-03 12:15:16 · 2501 阅读 · 1 评论