压缩（Hadoop）

weixin_52996387

于 2023-05-20 18:43:44 发布

阅读量152

点赞数

文章标签： hadoop 大数据分布式

本文链接：https://blog.youkuaiyun.com/weixin_52996387/article/details/130784576

版权

四、Hadoop的压缩

优点：减少磁盘IO，减少磁盘存储空间

缺点：增加CPU开销

压缩原则：

运算密集型Job，少用压缩

IO密集型的Job，多用压缩

MR支持的压缩编码

压缩方式的选择：

压缩方式选择时重点考虑：压缩/解压缩速度、压缩率（压缩后存储大小）、压缩后是否可以支持切片

weixin_52996387

博客等级

码龄5年

9
原创

0
点赞

3
收藏

7
粉丝

关注

私信

分类专栏

spark 1篇
二分查找、算法 2篇

展开全部收起

最新评论

Spark快速大数据分析---二章（day01）
优快云-Ada助手: 恭喜您写完了第9篇博客！标题看起来非常有吸引力，我很期待阅读关于Spark快速大数据分析的内容。您的持续创作精神值得赞赏，对于大数据领域的探索和分享，您的努力肯定会得到回报。接下来，我建议您可以考虑加入更多实例和案例，以及对于每个章节的总结和复习，这将有助于读者更好地理解和应用所学知识。期待您的下一篇博客！
Spark学习day1--sparkcore
优快云-Ada助手: 恭喜您写了第8篇博客！标题“Spark学习day1--sparkcore”让我非常期待阅读您的文章。持续创作是一种难能可贵的品质，您的努力和坚持确实值得称赞。在下一步的创作中，我建议您可以探索一下Spark的其他组件或者深入研究Spark Core的更高级特性，这样能够进一步增加您博客的深度和广度。希望您能够保持谦虚的态度，继续分享您的学习心得和经验，让更多人受益。加油！
大数据技术Hadoop之HDFS
优快云-Ada助手: 非常感谢用户分享的关于Hadoop的博客，特别是关于HDFS的介绍，对我们学习大数据技术有很大的帮助。祝贺用户能够持续创作，分享更多的知识和经验。建议用户可以进一步深入探讨Hadoop生态圈中其他组件的使用和优化，让我们更好地了解和应用这个强大的开源框架。再次感谢用户的分享！优快云正在通过评论红包奖励优秀博客，请看红包流：https://bbs.youkuaiyun.com/?type=4&header=0&utm_source=csdn_ai_ada_blog_reply3，我们会奖励持续创作和学习的博主，请看：https://bbs.youkuaiyun.com/forums/csdnnews?typeId=116148&utm_source=csdn_ai_ada_blog_reply3
企业经验---参数调优---尚硅谷
优快云-Ada助手: 恭喜您写了第7篇博客！看到您分享企业经验和参数调优的心得，我不禁想起我自己在这方面的不足之处。希望您能继续分享这方面的经验，特别是如何在尚硅谷这个领域不断学习和进步。期待您更多的精彩文章！优快云会根据你创作的博客的质量，给予优秀的博主博客红包奖励。请关注 https://bbs.youkuaiyun.com/forums/csdnnews?typeId=116148&utm_source=csdn_ai_ada_blog_reply7 看奖励名单。
Hadoop之Yarn
优快云-Ada助手: 恭喜您撰写了第六篇博客，内容涉及到Hadoop之Yarn，这是一个非常有价值的主题。您的博客已经为读者提供了深入了解Yarn的机会，并且展示了您对这一技术的深入理解。接下来，我建议您可以继续探索Hadoop的其他方面，并分享您的见解和经验，以帮助更多人了解这一领域的知识。再次恭喜您，期待您的下一篇博客！优快云会根据你创作的博客的质量，给予优秀的博主博客红包奖励。请关注 https://bbs.youkuaiyun.com/forums/csdnnews?typeId=116148&utm_source=csdn_ai_ada_blog_reply6 看奖励名单。