Hadoop Streaming & Hive Tips

持续更新

Streaming

• 可使用serde-codec(java class) 直接从序列化的数据中获取输入
• 获取mapper输入文件名
• combiner 的实现

Hive

• 输入若为特别多小文件, 会极大影响性能, hive可以在数据进mapper前预合并.
  mapper输入端:
  set hive.input.format=org.apache.Hadoop.hive.ql.io.CombineHiveInputFormat;
  输出端:
  set hive.merge.mapfiles = true
  set hive.merge.mapredfiles = true
  或者另起一个任务group by所有列.
• 能用mapjoin的一定要用.
  默认是小表<15M, 自动启用mapjoin. 有必要的时候也可以适当调大. 太大不行, 会OOM
• 对于CPU密集型任务, 需要手动设置较大的mapper个数.
  比如分词, 数据虽少, 但是计算量大, 调度器分的mapper会少, 很慢.
• 压缩和序列化的使用.
  对结果进行压缩+序列化, 可提高存储效率.
  对map->red之间的数据压缩, 可以提高网络传输效率, 这里选快的codec比如snappy, 但是网络部分还好, 一般不用压缩.
• 好功能: 动态分区.
  可以根据结果, 自动插入到某个哈希分区.
• 有趣的函数
  比如rank(即row_number)可以实现分组排序.
  percentile可以找%分位点, 有趣的近似算法.
• 可以把列拆开成多行
  比如原来某列里面compact了好多数据, hive支持拆成多行, latent view explode.
• 黑科技: 全局排序.
  全局排序在分布式系统中一般这么实现的: 先分桶, 桶内单机(each reducer)排.
  所以需要找到一些分割点来分桶, 再调用total order partitioner. 用途太少, 不仔细说了.