- 博客(2)
- 收藏
- 关注
RSS订阅原创 使用Mapreduce生成Hfile，并通过Bulkload导入到Hbase+源码解析
前缀树的构建基于键的字节表示，前缀树的每个节点表示一个字节，键的字节序列决定了它在前缀树中的路径。这种方法利用了键的二进制表示的自然顺序，能够快速定位到正确的分区。不需要，HFileOutputFormat2.configureIncrementalLoad()会根据MapTask输出的Value类型，自动设置Reducer。方法，使用二分查找算法在分区键集合中查找给定键。二分查找的时间复杂度为O(logn)，其中n是分区键的数量。且配置启用了自然顺序，分区器会构建一个前缀树（Trie）。
2025-04-30 00:24:40
1267
原创 Mapreduce Local模式下Maptask、ReduceTask并行度设置+源码解读
准备了两个txt文件（只有几KB）进行wordcount测试，默认使用TextInputFormat进行数据读取与切片，两个文件会产生两个MapTask。设置conf.set("mapreduce.local.map.tasks.maximum", "2")前。设置conf.set("mapreduce.local.map.tasks.maximum", "2")后。源码解析：org.apache.hadoop.mapred.LocalJobRunner。
2025-04-29 17:02:29
639
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人