- 博客(18)
- 资源 (6)
- 收藏
- 关注
转载 CubeFS存储技术揭秘(3)— 均衡、巡检与故障自愈
CubeFS的纠删码存储子系统(BlobStore),是一个高可靠、高可用、低成本、支持EB规模的独立Blob存储系统。通过之前分享的系列文章大家对纠删码子系统已经有了深入了解,本文将继续带领大家探讨更多内部实现细节
2022-11-06 11:42:28
1364
转载 CubeFS存储技术揭秘(2)— 纠删码单机存储引擎
https://mp.weixin.qq.com/s/jCdvwueQrjeIbwAADzb_7Q
2022-11-06 11:40:03
1395
转载 CubeFS存储技术揭密(1) — 纠删码引擎系统设计
CubeFS 3.0.0以前版本只提供多副本存储,随着数据规模持续增长,业务面临着更大的成本挑战,用户对更低成本的纠删码(ErasureCode, 下文简称EC)的需求愈加强烈;CubeFS近期重磅发布3.0.0版本,其关键特性之一是增加了对EC的支持(下图中ErasureCode Subsystem部分),EC将大幅降低数据冗余度,优化存储成本,有力支撑更大规模存储需求。
2022-11-06 11:36:51
1670
转载 如何设计并实现存储qos
一、资源抢占问题随着存储架构的调整,众多应用服务会运行在同一资源池中,对外提供统一的存储能力。资源池内部可能存在多种流量类型,如上层业务的IO流量、存储内部的数据迁移、修复、压缩等,不同的流量通过竞争的方式确定下发到硬件的IO顺序,因此无法确保某种流量IO服务质量,比如内部数据迁移流量可能占用过多的带宽影响业务流量读写,导致存储对外提供的服务质量下降,由于资源竞争结果的不确定性无法保障存储对外能提供稳定的集群环境。如下面交通图所示,车辆逆行、加塞随心随遇,行人横穿、闲聊肆无忌惮,最终出现交通拥堵甚至
2022-03-29 22:09:32
789
转载 浅谈消息中间件之kafka
1. 引言Kafka是一个分布式的基于发布、订阅的消息系统,有着强大的消息处理能力,相比与其他消息系统,具有以下特性:快速数据持久化,实现了O(1)时间复杂度的数据持久化能力。 高吞吐,能在普通的服务器上达到10W每秒的吞吐速率。 高可靠,消息持久化以及副本系统的机制保证了消息的可靠性,消息可以多次消费。 高扩展,与其他分布式系统一样,所有组件均支持分布式、自动实现负载均衡,可以快速便捷的扩容系统。 离线与实时处理能力并存,提供了在线与离线的消息处理能力。正是因其具有这些的优秀特性而广泛用
2022-03-29 22:06:35
456
转载 浅谈对象之MinIO源码篇
一、简介minio提供高性能、兼容S3的对象存储,适合存储非结构化数据,如视频、图片、日志文件、备份数据等,文中主要介绍minio中几个关键流程。二、名词解释擦除集(Erasure Set):是指一组纠删码集合,最大为32个驱动器,纠删码作为一种数据冗余技术相比于多副本以较低的数据冗余度提供足够的数据可靠性。擦除集中包含数据块与校验块,并且随机均匀的分布在各个节点上 如图所示,假定擦除集中包含10个驱动(磁盘),则会组成一个6+4的纠删码集合,用户上传一个6M大小的对象,则会对其先拆.
2022-03-29 21:55:38
7649
2
原创 kafka入门(一)主题与日志
本文作者:lemon 本文链接:https://lemon2013.github.io/2019/10/20/kafka入门之主题与日志/ 版权声明:本博客所有文章除特别声明外,均采用CC BY-NC-SA 3.0许可协议。转载请注明出处!主题主题是存储消息的一个逻辑概念,可以简单理解为一类消息的集合,有使用方去创建。Kafka中的主题一般会有多个订阅者去消费对应主题的消息,也...
2019-10-20 12:37:05
382
原创 kafka常用控制台命令集合
文章目录1. 启动2. 创建主题3. 查看主题列表4. 查看主题信息5. 查看所有消费组6. 控制台查看主题消息7. 删除主题8. 主题的offset统计9. 消息发送10. 查看主题中满足条件的消息示例通过消费消息的形式查看消息通过解析kafka的日志文件查看消息1. 启动#常规模式启动,可以查看控制台输出bin/kafka-server-start.sh config/server.pr...
2019-09-19 20:29:33
843
原创 快速部署kafka单机环境
快速部署kafka单机环境1. 依赖准备1.1 jdk安装1.2 zk安装2. kafka部署1. 依赖准备1.1 jdk安装安装jdk,版本推荐8以上1.2 zk安装下载zk对应版本比如下载http://apache.communilink.net/zookeeper/stable/apache-zookeeper-3.5.5-bin.tar.gz解压tar -xvf apach...
2019-09-18 09:33:49
229
原创 如何在七牛云测试域名失效情况下下载文件[windows]
本文作者: lemon 本文链接: https://lemon2013.github.io/2019/01/06/qiniu2local/ 版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 3.0 许可协议。转载请注明出处!引言这事就说来话长了,得从一个多月前的邮件说起,之前也没太注意,心想收回就收回,不然每个月还得交几块钱的访问流量费,实在是太贵了。今天有时间看...
2019-01-06 14:54:34
1162
转载 【转载】Kafka深度解析
原创文章,转载请务必将下面这段话置于文章开头处(保留超链接)。本文转发自技术世界,原文链接 http://www.jasongj.com/2015/01/02/Kafka深度解析背景介绍Kafka简介 Kafka是一种分布式的,基于发布/订阅的消息系统。主要设计目标如下:以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证常数时间的访问性能 高吞吐...
2018-12-13 09:33:15
411
原创 图搜索算法
本文作者: lemon 本文链接: https://lemon2013.github.io/2017/05/27/graph-search/ 版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 3.0 许可协议。转载请注明出处!图的表示所谓的图G=(V,E)G=(V,E),由顶点(Vertex) VV 和边(Edges) EE 组成。可以用两种标准方式来表示:邻接...
2018-05-05 13:27:44
10460
原创 动态规划之钢条切割
本文作者: lemon 本文链接: https://lemon2013.github.io/2017/05/31/dynamic-programming/ 版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 3.0 许可协议。转载请注明出处!动态规划简介(算法导论)动态规划方法通常用来求解最优化问题。这类问题可以有很多可行解,每个解都有一个值,我们希望寻找具有最优值(...
2018-05-05 13:25:55
239
原创 动态规划之矩阵链乘法
本文作者: lemon 本文链接: https://lemon2013.github.io/2017/07/13/dynamic-matrix-chain/ 版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 3.0 许可协议。转载请注明出处!矩阵链乘法问题描述给定一个 nn 个矩阵的序列(矩阵链) <A1,A2,…,AnA1,A2,…,An>,我们希...
2018-05-05 13:23:49
314
原创 常用网址备份
本文作者: lemon 本文链接: https://lemon2013.github.io/2018/05/04/commwebsite/ 版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 3.0 许可协议。转载请注明出处!引言每次换电脑最麻烦的就是需要重新将之前网站书签重新导入,在此做个简单备份。其中包括个人学习过程中觉得比较有用的一些网址,不定时更新。cep...
2018-05-05 13:14:23
16117
原创 ceph-rest-api的IPv6环境配置
本文作者: lemon 本文链接: https://lemon2013.github.io/2017/12/26/ceph-rest-api/ 版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 3.0 许可协议。转载请注明出处!引言ceph-rest-api 是一个 WSGI (网页服务器网关接口)应用程序,可作为网页服务独立运行,也可在支持 WSGI 的网页服务器...
2017-12-27 09:15:09
729
原创 Ceph对象存储(rgw)的IPv6环境配置
本文作者: lemon 本文链接: https://lemon2013.github.io/2016/11/09/Ceph对象存储-rgw-IPv6环境配置/ 版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 3.0 许可协议。转载请注明出处!引言在搭建成功Ceph集群后,对于如何使用,其实我还是一脸MB的,心想竟然提供三种存储接口(对象,文件,快),口气也未免太大...
2017-07-14 21:08:53
895
原创 配置基于IPv6的单节点Ceph
本文作者: lemon 本文链接: https://lemon2013.github.io/2016/11/06/配置基于IPv6的Ceph/ 版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 3.0 许可协议。转载请注明出处!引言为什么突然想起搭建一个基于IPv6的Ceph环境?纯属巧合,原本有一个项目需要搭建一个基于IPv6的文件系统,可惜Hadoop不支持(之...
2017-07-14 21:03:27
857
应用PAC模式java实现MontyHall
2014-12-24
Java实现MVC球体
2014-04-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人