
map-reduce
倾斜的阿拉丁
技术是服务于人!
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
hive udf,udaf,udtf详解
Hive进行UDF开发十分简单,此处所说UDF为Temporary的function,所以需要hive版本在0.4.0以上才可以。 一、背景:Hive是基于Hadoop中的MapReduce,提供HQL查询的数据仓库。Hive是一个很开放的系统,很多内容都支持用户定制,包括: a)文件格式:Text File,Sequence File b)内存中的数据格式: Jav转载 2015-07-11 20:48:32 · 1157 阅读 · 0 评论 -
Hadoop的hdfs的配置参数详解
1:在hdfs中删除一个文件,如何恢复,何时无法恢复其实是可配置的 在 core-site.xml中 配置 fs.trash.interval 10080 --单位为分钟 hadoop默认是没有恢复的。 查看被回收的文件 可以用命令 hadoop fs -ls /user/root/.Trash/Current/* 重启后生效 2:在配置文件中设置reduc原创 2015-06-26 14:18:35 · 712 阅读 · 0 评论