
hadoop
文章平均质量分 67
沉默拾金
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hadoop在MapReduce中使用压缩详解
hadoop对于压缩文件的支持 hadoop对于压缩格式的是透明识别,我们的MapReduce任务的执行是透明的,hadoop能够自动为我们 将压缩的文件解压,而不用我们去关心。 如果我们压缩的文件有相应压缩格式的扩展名(比如lzo,gz,bzip2等),hadoop就会根据扩展名去选择解码器解压。 hadoop对每个压缩格式的支持,详细见下表: 压缩格式转载 2013-09-06 14:05:37 · 946 阅读 · 0 评论 -
一些并行压缩的实现
在Google搜索"parallel gzip"和"parallel bzip",找到了一些关于并行压缩的实现: PigZ http://www.zlib.net/pigz/ GZIP压缩的并行实现。不过文档太少,从源码看来,只是实现了一个多线程压缩的工具,并没有提供对应的调用库。 pBzip2 http://compression.ca/pbzip2/ BZIP2压缩算法的并转载 2013-10-15 10:59:32 · 4061 阅读 · 0 评论