Apache Hadoop添加校验码功能帮助内存错误数据毁损

为确保用户数据在传输过程未被更改，网络大厂、推特以及Apache Hadoop开源社群合作，为Apache Hadoop加入跨异构文件系统的端到端数据验证功能，能用于像是HDFS以及网络大厂 Cloud Storage间数据传输的校验。网络大厂提到，在不同储存系统间移动或是复制数据的时候，最好执行验证以确保数据安全，虽然现在有不少机制在保护点到点传输数据的完整性，但是执行端到端的资料完整性验证，则可以为典型传输机制增加额外的保护。当然这也可以帮忙检测因为网络噪声，或是服务器以及路径上的路由器因内存错误造成的数据毁损。网络大厂、推特以及Apache Hadoop开源社群三方合作，创建了新的校验码类型，能将复合模块（Block）CRC以及复合文件CRC，定义为跨储存区块（Chunk）CRC的数学组合CRC。这取代了使用组件CRC的MD5，以计算代表整个模块或是档案的单一CRC，而且与区块CRC较低等级的精细度无关。Apache Hadoop从3.1.1版本开始提供新的CRC校验功能，同时也会在2.7、2.8以及2.9版本向后移植，不过使用者还必须要再等等。

转载于:https://blog.51cto.com/13355233/2360126