使用Hive的注意点

1.字符集

Hadoop和Hive都是用UTF-8编码的,所以, 所有中文必须是UTF-8编码, 才能正常使用。

备注:中文数据load到表里面, 如果字符集不同,很有可能全是乱码需要做转码的, 但是hive本身没有函数来做这个

2.压缩

hive.exec.compress.output 这个参数, 默认是 false,但是很多时候貌似要单独显式设置一遍否则会对结果做压缩的,如果你的这个文件后面还要在hadoop下直接操作, 那么就不能压缩了。


3.count(distinct)

当前的 Hive 不支持在一条查询语句中有多 Distinct。如果要在 Hive 查询语句中实现多Distinct,需要使用至少 n+1 条查询语句(n为distinct的数目),前 n 条查询分 别对 n 个列去重,最后一条查询语句对 n 个去重之后的列做 Join 操作,得到最终结果。


4.JOIN

Hive 只支持等值连接(equality joins)、外连接(outer joins)和(left/right joins);Hive不支持非等值连接、因为非等值连接非常难传到map/reduce任务。Hive支持多于两个表的连接

注意:

1.将条目少的表或子查询放在Join操作符的左边。在join操作的reduce阶段、位于join操作符左边的表的内容会被加载进内存、将条目少的表放在左边,可以有效减少发生OOM错误的几率(内存溢出)。

2.join的key相同,不管多少表,都合并成一个MR任务;join的key不相同,MR的任务数等于join操作的数;

3.MapJoin,join操作在Map阶段完成,不再需要Reduce任务,前提需要数据在Map端可以访问。


5.怎样决定Reducer的个数

参数1:hive.exec.reducers.bytes.per.reducer =1000^3(默认)

参数2:hive.exec.reducers.max=999(默认)

N=min(参数2,总输入数据量/参数1)。根据经验:参数2设定为0.95*集群中TaskTracker的个数


6.Hive不支持where中的子查询,不支持Having,不支持Update和Delete。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值