分布式系统下的纠删码技术

寰子 寰子 博客等级 墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 700+累计阅读 708平均单平台 已同步平台 优快云 微信公众号 微博 知乎 掘金 百家号 博客园 抖音 小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网 我也要 码龄15年
关注
转载 最新推荐文章于 2026-03-27 02:18:46 发布 708 阅读 AI 写同款· GEO 优化 ›
浅谈Ceph纠删码 CEPH纠删码原理和应用 阅读详情

http://blog.youkuaiyun.com/u011026968/article/details/52295666

收录于
Distributed System

当前文章被收录于：

Distributed System
2 篇文章 0 人学习
订阅专栏 查看详情
纠删码技术，更省钱的分布式系统的可靠性技术 摘要：本文介绍了纠删码技术作为替代副本技术的存储方案，通过数学矩阵运算实现数据冗余，在保证可靠性的同时显著降低存储成本。以RS(n,m)编码为例，详细解析了其生成矩阵原理、数据恢复机制，并对比了分布式存储中的范德蒙德和柯西矩阵应用。文章还探讨了本地可修复码(LRC)技术对网络开销的优化，最后以Ceph实现为例展示了纠删码的实际应用，包括Jerasure库的编码/解码函数接口说明。该技术使存储效率提升至66%以上，已广泛应用于主流分布式存储系统。 阅读详情

相关推荐

一分钟理解 AP(Affinity Propagation) 亲和⼒传播算法

这篇博客发出来后，我用 Rust 复现代码出现问题。为此，我对对照了 sklearn 的相关代码，反复比较了两天，发现一处 bug，把 += 误写成了 =，导致数据量大的时候完全无法聚类。这个debug过程让我仔细梳理的 AP 算法的计算过程，今天我对这篇博客做了大规模修改，以便能原样展现原论文思想。

程序猿视角 3219

纠删码--分布式存储数据备份

Erasure Code（简称 EC），即纠删码，是一种前向错误纠正技术（Forward Error Correction，FEC），主要应用在网络传输中避免包的丢失，存储系统利用它来提高存储、可靠性。相比多副本复制而言，纠删码能够以更小的数据冗余度获得更高数据可靠性，但编码方式较复杂，需要大量计算。纠删码只能容忍数据丢失，无法容忍数据篡改，纠删码正是得名与此。

weixin_41303815的博客 2183

Vectorless dynamic动态功耗分析——Voltus

power 计算工具会根据设计信息和用户提供的activity和switching约束来生成虚拟的worst-case的power vector，难点在于哪些instances视为switching，在没有仿真的前提下如何确定开关的时间，使用timing文件（TWF）

qq_44347276的博客 2790

分布式存储中常见的容错机制：多副本、纠删码（RS、LRC、SHEC）

分布式存储中常见的容错机制：多副本、纠删码（RS、LRC、SHEC）

凌桓丶的博客 4957

实战STM32G0驱动DRV8870/AT8870：PWM+DMA精准调速与H桥衰减模式详解

本文详细介绍了如何使用STM32G0单片机结合DRV8870/AT8870电机驱动芯片实现直流有刷电机的精准控制。重点讲解了PWM与DMA结合实现高效调速的硬件配置与软件驱动方法，并深入剖析了H桥快衰减与慢衰减模式的工作原理及应用场景，为嵌入式电机控制项目提供了完整的实战解决方案。

c7d8e9的博客 595

保姆级避坑指南：在Ubuntu 22.04上从零编译Autoware.universe（含ROS2 Humble和CUDA配置）

本文提供了一份详细的Autoware.universe编译指南，涵盖Ubuntu 22.04系统优化、ROS2 Humble安装避坑、CUDA配置及Demo运行技巧。通过分步操作和实战经验，帮助开发者高效完成环境搭建，避免常见错误，提升自动驾驶开发效率。

weixin_30642561的博客 347

纠删码原理

Erasure Code - EC纠删码原理 一、什么是Erasure Code Erasure Code（EC），即纠删码，是一种前向错误纠正技术（Forward Error Correction，FEC，说明见后附录），主要应用在网络传输中避免包的丢失， 存储系统利用它来提高 存储 可靠性。相比多副本复制而言， 纠删码...

weixin_42956878的博客 8880

手机开发实战58——小区广播介绍2

业务 针对小区广播短消息的特点，可以提供一些基于目前短消息不能或不适合提供的服务： 1. 显示网络服务基站名称：用户可以随时了解手机登记在哪个基站下，特别是在边界交叉覆盖区域，用户可以清楚的知道通话建立在哪个基站下，在用户投诉和故障描述中也会有所帮助； 2. 提供用户问候信息：可以在覆盖机场、车站等地区的基站广播一些用户问候语或一些企业形象广告语； 3. 充分利用小区广播地

xjbclz的专栏 772

计算机网络：纠删码详解，全面剖析！

纠删码（Erasure Code）是一种错误纠正编码技术，用于在数据传输过程中，通过添加冗余信息来实现数据的可靠传输和恢复。简单来说，纠删码可以将原始数据切分成多个数据块，并添加额外的冗余块，使得即使部分数据块丢失或损坏，也能够通过其他数据块的组合恢复原始数据。

m0_72410588的博客 2125

7、布尔网络的基础定义

本文介绍了布尔网络的基础定义及其在系统生物学中的应用。布尔网络是一种描述复杂系统动态行为的数学模型，由布尔变量和布尔函数组成，能够模拟生物系统中基因调控、信号传导和细胞代谢等过程。文章详细阐述了布尔网络的基本结构、动力学特征（如状态转移图和吸引子），以及其在生物建模中的重要价值，并探讨了优化和简化技术（如Backward Boolean Equivalence）如何提升其计算效率。

yhn45678901的博客 263

1. 迈进 SAP UI5 开发世界的第一步 - Hello World

SAP UI5 是一个用于开发企业级 Web 应用的前端框架，基于 HTML 和 JavaScript. 作为教程的第一步，我们需要了解最基础的 HTML 知识。 请大家在电脑上任意新建一个文件夹，将其命名，比如我取的名称为 Walkthrough. 进入 Walkthrough 文件夹，再新建一个文件夹名叫 01，代表本教程的第一个步骤。 进入 01 文件夹，新建一个 webapp 文件夹。这个名称是 web 应用约定俗成所使用的，大家都倾向于用这个名称，当然你要是想用其他名称也没有问题。......

2007 年 ~ 2025 年，深耕 SAP 技术 18 年 9005

分布式系统下的纠删码技术（一） -- Erasure Code (EC)

分布式系统下的纠删码技术（一） -- Erasure Code (EC)

weixin_37828116的博客 1478

Android Update Engine 分析（三四）OTA 签名都支持哪些算法?

写了几十篇还没涉及到 OTA 签名算法细节，OTA 讨论群也很少问这个，毕竟签名算法纯理论的问题，一旦实现好就极少需要改动，只需要进行一些配置，准备好签名的秘钥和证书就可以了。限于签名的算法理论太过于抽象，本篇不讨论签名算法细节，但会总结一些签名操作。以及 Android OTA 包支持的签名算法。本文主要分析 Update Engine 中支持的签名算法，以及这些算法的操作实现(不涉及原理部分)，并总结签名和验签使用的 key。

洛奇看世界 716

分布式系统下的纠删码技术之Erasure Code

Erasure Code（简称EC，也称擦除码或纠删码）是1组数据冗余和恢复算法的统称。本教程以Vandermonde矩阵的Reed-Solomon来解释EC原理。 术语定义: dj－数据块； yi－通过数据块计算得来，作为数据冗余的校验块； uj－丢失的、需要恢复的数据块； k－数据块数量； m－校验块数量。 本教程包括: 分布式系统的可靠性问题: 冗余与多副本——提出EC需要解决的问题； EC的基本原理——用到中学数学知识, 举“栗子”的方式直观解释EC算法，希望对分布式存储领域增加了解

sinat_22510827的博客 1224

C# WinForm 基于DirectShow.dll编写的程序，可边预览边保存视频，音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择（默认选中第一个）2.可录制wmv和avi两种格式的视频并且都带有音频，avi可以录制的分辨率和帧数进行选择，wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照，也可边录制视频边拍照4.添加了视频和音频的压缩功能（酌情使用）这次二次开发发现C#对DirectShow的相关信息太少，这次做完也不敢藏私共享出来，还望大家指正

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

纠删码（erasure coding，EC）技术现状

纠删码技术作为大数据时代降低存储开销的核心方案，在RS码优化、新型编码体系构建和动态适配方面取得显著进展。研究对比了RS码、MSR码、LRC码等方案的特性，并通过Python实现基础RS码的编码恢复流程。未来将向智能决策、边缘适配和跨技术融合方向发展，实现存储效率、性能与可靠性的动态平衡。

异构算力老群群（在读985计算机博士生）的技术博客 1316

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术，以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索，主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式，计算机控制系统的数学描述与基本分析方法，以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

分布式存储纠删码原理

Erasure Code原理 https://blog.csdn.net/shelldon/article/details/54144730 附 开源实现 jerasure开源实现 git@lab.jerasure.org:jerasure/jerasure.git http://lab.jerasure.org/jerasure/jerasure.git git@lab.jerasur...

pansaky的博客 2135

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

Erasure Code

Erasure Code原理 Erasure Code - EC纠删码原理 分布式系统下的纠删码技术（一） – Erasure Code (EC) 分布式系统下的纠删码（二） HDFS ErasureCode方案对比 Hadoop 3.0纠删码(Erasure Coding)：节省一半存储空间 Reed Solomon纠删码 为程序员写的Reed-Solomon码解释

来啊 快活啊 872

存储可靠性：从基于磁盘的RAID到分布式纠删码(EC)，多副本

在选择数据存储方案时，一个绕不开的话题就是数据存储的可靠性（面对故障时的应对能力），本文对磁盘的RAID技术和现在分布式存储常用的纠删码（EC）和多副本的原理和优缺点进行详细的介绍。

qq_40529346的博客 1958

探索数据保护的魔法：reed-solomon-erasure 开源项目解析与推荐

探索数据保护的魔法：reed-solomon-erasure 开源项目解析与推荐 reed-solomon-erasure[Looking for new owners/maintainers, see #88] Rust implementation of Reed-Solomon erasure coding项目地址:https://gitcode.com/gh_mirrors/re/ree...

gitblog_00050的博客 417

Hadoop 体系进阶：分布式系统的性能、架构、行业案例与核心代码实现

在 Hadoop 课程的深度实践中，我逐渐跳出 “工具使用” 的层面，聚焦其与生产级场景的架构优化逻辑 ——Hadoop 的核心价值，在于用 “低成本硬件 + 软件容错” 的思路，解决海量数据场景下的 “存储 - 计算 - 调度” 协同问题。而其真正的生命力，更体现在各行业的规模化落地中。

Cgjyph的博客 575

云存储的那些事（1）——数据冗余

概要 　　关于云存储，可以学习的内容有很多，知识点也很杂，串联起来不容易；根据我的经验，带着问题去研究，从多个角度去理解才能记忆深刻。 　　本章开始，先探讨一些关于云存储的一些比较重要的问题和知识点，分为多期，化繁为简，希望可以对自己的学习做一个总结。 内容大致包括： 　　1，云存储的数据冗余方案 　　2，ceph系统架构与部署 　　3，数据分发策略的核心——crush算法 　　4，...

weixin_30632883的博客 779

聊一聊分布式对象存储

1. 前言 今天来聊聊我正在读的一本分布式对象存储的书籍。 前天11月10号，想着京东有满200-100的活动，就买了一些书，准备沉淀一下。自己打算在分布式系统上搞几年，所以买的书基本上都是关于分布式存储的。本身也没想着买一些分布式系统的经典教材，就随便选了几本京东上销量比较高的，偏实用一些的书籍。权当心血来潮，未经过任何调研。 当前看的这本是《分布式对象存储-原理，架构和go语言实现》。 2. ...

字节跳动 内推找我 8306
上一篇： 基于Redis的分布式锁到底安全吗
下一篇： CentOS编译bitcoind报错libdb_cxx headers missing解决
点赞 0
评论 0
书签 书签 0
寰子
寰子
博客等级 码龄15年 91粉丝 15原创
+ 关注 专栏目录 订阅专栏
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值