- 本文出自
ELT.ZIP
团队,ELT<=>Elite(精英),.ZIP为压缩格式,ELT.ZIP即压缩精英。 - 成员:
- 上海工程技术大学大二在校生
- 合肥师范学院大二在校生
- 清华大学大二在校生
- 成都信息工程大学大一在校生
- 黑龙江大学大一在校生
- 山东大学大三在校生
- 华南理工大学大一在校生
- 我们是来自
7个地方
的同学,我们在OpenHarmony成长计划啃论文俱乐部
里,与华为、软通动力、润和软件、拓维信息、深开鸿
等公司一起,学习和研究操作系统技术
…
文章目录
【往期回顾】
① 2月23日 《老子到此一游系列》之 老子为什么是老子 —— ++综述视角解读压缩编码++
② 3月11日 《老子到此一游系列》之 老子带你看懂这些风景 —— ++多维探秘通用无损压缩++
③ 3月25日 《老子到此一游系列》之 老子见证的沧海桑田 —— ++轻翻那些永垂不朽的诗篇++
④ 4月4日 《老子到此一游系列》之 老子游玩了一条河 —— ++细数生活中的压缩点滴++
⑤ 4月18日 ++【ELT.ZIP】OpenHarmony啃论文俱乐部——一文穿透多媒体过往前沿++
⑥ 4月18日 ++【ELT.ZIP】OpenHarmony啃论文俱乐部——这些小风景你不应该错过++
⑦ 4月18日 ++【ELT.ZIP】OpenHarmony啃论文俱乐部——浅析稀疏表示医学图像++
⑧ 4月29日 ++【ELT.ZIP】OpenHarmony啃论文俱乐部——计算机视觉数据压缩应用++
⑨ 4月29日 ++【ELT.ZIP】OpenHarmony啃论文俱乐部——点燃主缓存压缩技术火花++
⑩ 4月29日 ++【ELT.ZIP】OpenHarmony啃论文俱乐部——即刻征服3D网格压缩编码++
【本期看点】
Hadoop和Spark框架的性能优化系统
云计算重复数据删除技术降低冗余度
压缩框架Ares如何统一不同算法
在线数据压缩“摇摆门趋势”
揭秘新型移动云存储SDM
【技术DNA】
【智慧场景】
物联网
- 什么是物联网?物联网是通过信息传感设备,按照某种协议,把任何物品与互联网连接起来,进行信息交换和通信,在这个网络中,物与物之间能够彼此进行“交流”,现实世界的物与数字世界相连,而无需人的干预,实现智能化。它的渗tou性强、带动作用大、综合效益好,能够实现“物物相连的互联网”,像智能家居、智能医疗、智能城市…
- 而由设备收集的数据的传输和存储是物联网(IoT)的重要组成部分。如今,数据生成的增长速度远远快于存储能力。云计算可以以最小的管理工作快速启动和供应,并为物联网带来巨大的优势。但当传输无关或冗余数据时会消耗更多能,使用通信信道,处理对应用程序贡献很小的数据,无疑是一种浪费。
- 压缩传输和存储的数据是必要的,所以提出了在物联网应用中使用摆动门趋势(SDT)。
摆动门趋势(SDT)
- 摆动门趋势(SDT)是一种在线有损数据压缩算法,通常用于监看控制和数据采集系统,目的在于存储来自过程信息系统的历史数据。压缩偏差(CD)是它最重要的参数,它代表当前样本和当前用于表示之前收集的数据的线性趋势之间的最大差异。
- 传统SDT算法是在一定误差范围内,用起点和终点确定的直线代替两点之间其他的数据点,SDT 算法的压缩率关键取决于容差(门)的大小。而在起点上下距离为CD的地方有上边界UP和下边界LP,构成了旋转的两扇门。这两扇门在压缩过程中一旦打开之后就不能关闭,直到该压缩区间压缩结束。如果两扇门的内角和大于或者等于180度,压缩停止,否则压缩继续。该压缩区间结束之后,以压缩区间的终点为下一压缩区间的起点继续压缩。
- SDT结构简单,计算复杂度较低,并且使用线性趋势来表示一个数据量。通过带有固定枢轴的“摆动门”连续构造图形来过滤数据。但因为容差CD参数应该是预先运行时定义的“门”,所以有时候并不准确,后文将提出改进方法。
八个步骤
- 接收到第一点
- 建立上下枢轴点
- 接收下一点
- 计算相对于上下枢轴的当前坡度
- 比较当前坡度与之前的极端坡度
- 当某个点在平行四边形外时,计算最后一个点与当前点之间的斜率。交叉的边界被调整为与其他边界平行。计算出交叉边界与斜率之间的一个拦截点,并确定一个新的第一点
- 传送点c作为输出信号的压缩数据流中的输出点
性能标准
- 压缩误差(CE)和压缩率(CR)是评估压缩算法性能的重要指标。
- CE测量压缩后观察到的相对误差量,它的计算方法是将未压缩数据(Ti)与解压缩过程(T0i)后的压缩数据结果之间的差异的总和,除以未压缩数据的绝对值的总和。
- CR旨在评估压缩过程的效率,并表示使用压缩算法实现的样本的减少。它被计算为压缩样本除以未压缩样本的补充。
- 提出称为压缩标准(CC),良好的压缩体现于CC值接近于1,对应于高CR和低CE值。
C C ( C E , C R ) = 2 ⋅ C R ⋅ ( 1 − C E ) C R + ( 1 − C E ) CC(CE, CR)=\frac{2·CR·(1-CE)}{CR+(1-CE)} CC(CE,CR)=CR+(1−CE)2⋅CR⋅(1−CE) - 论文中提出4个不同数学方程版本:
算术平均值(MEAN):
f m e a n = 1 n ∑ i = 1 n X i f_{mean}=\frac{1}{n}\sum_{i=1}^nX_i fmean=n1i=1∑nXi
指数移动平均线:
f e m a ( d , p ) = ( 1 − α ) C D + α ⋅ S i ( d , p ) f_{ema}(d, p)=(1-\alpha)CD + \alpha · S^i(d, p) fema(d,p)=(1−α)CD+