
HIVE
Leon.Hopkins
我有一壶酒,足以慰风尘,尽倾江海里,赠饮天下人
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hive 优化
首先hive本质就是mapreduce,那么优化就从mapreduce开始入手。然而mapreduce的执行快慢又和map和reduce的个数有关,所以我们先从这里下手,调整并发度。关于map的优化: 1.调整block 作业会通过input的目录产生一个或者多个map任务。set dfs.block.size 因为没份数据都是block,而block的大小直接影...原创 2019-11-12 14:57:10 · 159 阅读 · 0 评论 -
About Hive
首先谈一下关于hive和hbase的区别的疑问(完全不是一个东西): 本质上来说hive和hbase没什么关系,虽然都是表,查数据等,但是他们根本就不是一个层面的东西 hive就是一个rapduce的一个包装,hive就是将编写的sql转换成mapreduce任务 而hbase是什么呢?可以理解为是hdfs的一个包装,本质是数据存储的,一个nosql数据库,部署与hdfs之上的,...原创 2019-11-12 14:53:52 · 216 阅读 · 0 评论