【ELT.ZIP】OpenHarmony啃论文俱乐部——大数据框架性能优化系统

本文链接：https://blog.youkuaiyun.com/qq_30407339/article/details/124729547

本文介绍了OpenHarmony中针对大数据框架Apache Hadoop和Spark的性能优化，探讨了两者的联系与特点，以及如何通过数据压缩等手段提升性能。实验结果显示，Lz4和Zstandard在不同数据量下表现优秀，为Hadoop和Spark提供了最佳性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文出自ELT.ZIP团队，ELT<=>Elite(精英)，.ZIP为压缩格式，ELT.ZIP即压缩精英。
成员：
- 上海工程技术大学大二在校生
- 合肥师范学院大二在校生
- 清华大学大二在校生
- 成都信息工程大学大一在校生
- 黑龙江大学大一在校生
- 山东大学大三在校生
- 华南理工大学大一在校生
我们是来自7个地方的同学，我们在OpenHarmony成长计划啃论文俱乐部里，与华为、软通动力、润和软件、拓维信息、深开鸿等公司一起，学习和研究操作系统技术…

在这里插入图片描述

在这里插入图片描述

大数据（Big Data），又称为巨量资料，指的是所涉及的资料量规模巨大到无法透过主流软件工具，在合理的时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
但大数据是个抽象的概念，业界对大数据还没有一个统一的定义，而且用上面的定义似乎难以理解，所以就有了以下用 “4V” 来定义大数据的方法。

说到大数据的特征，就不得不提到“4V”。那什么是“4V”呢？
“4V” 即四个用来描述大数据特征的英文单词：Volume（体积）、Velocity（速度）、Variety（多样）和 Value（价值）。用“4V”的方式给大数据下个中文定义，那就是满足数据体量巨大、数据速度快速、数据种类繁多和数据价值密度低的数据即大数据。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qCqQtjpx-1652334589565)(https://ycnx.online/wp-content/uploads/2022/05/image-1652144736245.png)]
每天大家都在使用微信、QQ与好友开黑聊天，用支付宝、淘宝完成线上下支付。时过境迁，目前互联网产生的数据已经远远地超过很多年前的“3G时代”。比如下图，生动形象地描述了2021年各大互联网公司每分钟所产生的数据。
像是 Tiktok 每分钟就产生了5000次下载，197.6 百万条电子邮件被发出，500 个小时的视频被上传。虽然不是国内的数据，但也能反映出国内的一些情况，更能让我们体会到大数据时代下的数据量之大，数据种类之繁杂。侧面也能反映出处理这些数据的困难。