ceph 删写入的数据及查看

最新推荐文章于 2024-02-29 10:30:38 发布
最新推荐文章于 2024-02-29 10:30:38 发布
阅读量3.3k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： ●linux相关 -----------命令相关 文章标签： 1 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/mao_xiaoxi/article/details/88553170
本文介绍了一种在S3存储中删除特定日期数据的方法，包括执行删除操作、检查删除状态及停止删除进程的步骤。适用于需要定期清理历史数据的场景。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、删除写入的数据

s3cmd del s3://mybucket1/2019/03/14/*    #日期根据当天的日期进行自定义

注：若数据较多，会等待较长时间

二、查看是否删完

ceph -s

objects是传的图片等数据，会逐渐减少

usage会逐渐减少，差不多十几G就可以

三、停止删除操作

删除完后，再次执行删除命令 s3cmd del s3://mybucket1/2019/03/14/*  会直接退出

 

ceph第三篇: 存储池，纠删码池概念和配置
weixin_43743301的博客
04-11 128
将每个对象存储为 N=K+M 个块（chunk），其中 K 为数据块数量，M 为编码块数量。比较常用的配置是 8+4（即 K 为 8，M 为 4），总共 12 个数据块中有 8 个数据块保存数据，有 4 个实现数据冗余。这样的话，1/3 的磁盘空间用于数据冗余，相比于副本池的三倍冗余更节省空间，但不能出现大于一定数目的块故障。数据分布：实际存储需要4个OSD（k+m=4），允许最多2个OSD故障不丢数据。[2,4,1,7]：数据块分布的OSD编号（对应D1,D2,C1,C2）。
如何在ceph中找出存放的数据
scaleqiao的专栏
07-12 6652
这篇文章主要从ceph数据管理这个方面入手，通过具体的实例介绍一下如何在ceph中找到数据的存放位置。
ceph 数据清除
evolution23的博客
04-12 2043
lsblk -f yum install gdisk # Zap the disk to a fresh, usable state (zap-all is important, b/c MBR has to be clean) # You will have to run this step for all disks. sgdisk --zap-all /dev/sda # Clean hdds with dd dd if=/dev/zero of=/dev/sda bs=1M count=10
bclinux aarch64 ceph 14.2.10 彻底删除ceph集群及数据
hknaruto的专栏
11-16 573
purge多结点后，purgedata报错。重启ceph-3节点。
ceph 查看是否在恢复_ceph集群的动态扩展+ceph的osd的误删和恢复（三）
weixin_39609718的博客
12-19 195
ceph集群的动态扩展一、使用ceph-deploy把配置文件和admin 秘钥下发到新添加的节点在主节点的ceph目录下执行$: ceph-deploy admin 二、新增加一个osd ceph-node3$:ceph-deploy osd create ceph-node3:/dev/nvme0n1三、给ceph-node1增加一个元数据的角色(ceph做文件系...
重复数据删除技术简介
IT_YUAN的专栏
05-29 5106
0.绪论 　　一般情况下，数据中心每周需要将主存储设备的所有数据备份到辅存储设备上，并保存数月时间，我们称之为全备份。另外，数据中心可能每天还需做一次增量备份，只备份当天改变的数据。辅存储设备的容量达到主存储设备的10到20倍是很正常的。如果需要做容灾备份的话，容量还需翻一倍，假如容灾备份需要在广域网上进行，那么带宽消耗也是很可怕的。 1. 重复数据删除的分类 　　从重复数据删除
Ceph源码解析之纠删码机制中编码部分的技术实现与逻辑详解
最新发布
03-16
本文深度剖析了Ceph存储系统中纠删码（Erasure Code）机制的具体编码逻辑及其实际实现过程，主要通过对源码路径如 'src/osd/ECTransaction.cc' 和相关类方法 (如 encode_and_write 函数) 进行深入研究，阐述osd节点...
ceph中纠删码如何读写数据
Be_Nice的博客
06-06 1611
在介绍纠删码读写之前，我们先看下ceph处理IO的流程，借鉴别人提供的图片如下： 从该图我们可以看到从前端的业务文件到数据保存到存储硬盘上的过程，步骤如下： 1. File->Object映射 RADOS中需要配置object的大小，一般会设置为2M到4M的大小。当用户写入数据文件时，首先会根据object的大小值将file进行切分。如果file的大小不足object的大小，则直接按照原大小映射到一个object中；如果file的大小大于object大小，则file会被切分若干个完整大小的.
ceph部署-纠删码
weixin_44257754的博客
08-01 724
ceph部署
ceph基本架构及数据分布原理
HULK一线技术杂谈
10-17 687
女主宣言Ceph作为云厂商不可或缺的存储系统之一，有着优秀的性能、可靠性和可扩展性，是一种统一的、分布式的存储系统。但是，大家对ceph的技术原理有了解多少呢？本文主要从...
ceph数据读写原理
08-24
ceph read
ceph常用维护操作文档
03-25
Ceph运维实践,监控及日志管理 Ceph的原理 Ceph常见异常与解决 Ceph压力测试,性能分析和优化
LINUX部署ceph集群, 创建ceph块存储,创建镜像快照使其还原误删除数据.
weixin_45124917的博客
08-20 569
模拟环境: 在真机上挂载ceph10.iso : [root@room9pc01 ~]# mkdir /var/ftp/ceph [root@room9pc01 ~]# mount ceph10.iso /var/ftp/ceph/ 客户端虚拟机:client 192.168.4.10/24 真机IP地址:192.168.4.254/24 存储集群虚拟机: node1 192.168.4...
ceph 删除和添加osd
a13568hki的博客
07-19 9970
1、删除osd 查看osd ceph osd tree 2、停止此osd进程，执行,我的因为坏盘原因已经停止 systemctl stop ceph-osd@0 3、删除上面创建的osd。，数据和日志在同一个磁盘上的osd ，将osd.0踢出集群，执行 ceph osd out 0 4、然后执行：ceph osd crush remove osd.0,此时osd.10已经不再osd tree中了 ceph osd crush remove osd.0 5、执行ceph auth del osd
cephfs remove [备忘]
Terry Tsang
04-11 1189
cephfs remove pool
ceph暂停/恢复集群数据同步方法、ceph重建日志盘完整流程详细记录、sgdisk命令简单说明、启动osd命令的两种方法说明
崔崇鑫的博客，你linux/云运维工作中的百科全书。
03-31 706
生产环境上实操的，日志盘是raid1，一般情况下是不需要做重建日志盘操作的，但我们运气很不好，raid卡坏了，2个日志盘同时坏了都被我们遇到了，重建的次数还不少。所以玄学上来说，搞运维还是要去烧香拜佛的。现在可以查看的，现在journal_uuid中有信息，该内容为之前的分区uuid信息，肯定是不能用了的，所以我们全部都需要改。启动前，查看下状态，全是 not running【mon节点会自动up】如我这有10个osd要做，我就弄10个出来。大致参考了下面这个国外的方法。我这的ceph版本如下。
已部署ceph的磁盘，如何清理磁盘ceph信息
qq_30381077的博客
02-29 644
【代码】已部署ceph的磁盘，如何清理磁盘ceph信息。
测试：找出在ceph中存放的数据
Linux_kiss的博客
10-30 1208
1、创建测试文件test.txt echo "hello world" > test.txt 2、将文件写入到pool中： rados -p abc put object1 test.txt rados ls -p abc 3、查看object1的pg map ceph osd map abc object1 4、查看三个OSD的信息，主要看host信息，即OSD在哪个机器上。 cep...
Ceph介绍及原理架构分享
weixin_44389885的博客
06-29 6721
1. Ceph架构简介及使用场景介绍 1.1 Ceph简介 Ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。 Ceph项目最早起源于Sage就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区。在经过了数年的发展之后，目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack都可与Ceph...
ceph 纠删码 三副本 优缺点
10-18
ceph是一种分布式存储系统，纠删码和三副本是ceph中常用的数据冗余机制。纠删码是一种数据冗余编码技术，可以将数据切割为多个片段，并通过冗余编码计算补齐片段的信息，从而达到数据冗余备份的目的。而在ceph中，三副本是指将数据复制三份存储在不同的存储节点上。 关于纠删码的优点，主要有以下几点。首先，相比于三副本，纠删码能够在更少的存储空间下提供相同的数据冗余保护。因为纠删码利用冗余编码，只需额外的一小部分冗余数据就可以恢复任意一个数据分片的丢失。其次，纠删码在数据恢复时的效率更高。通过计算与重建冗余数据分片，可以在数据损坏或丢失情况下快速恢复数据。最后，纠删码还具备更好的可扩展性。因为纠删码中的冗余数据可以动态地分配到不同的存储节点上，从而实现数据在分布式存储系统中的横向扩展。 然而，纠删码也存在一些缺点。首先，相比于三副本，纠删码的计算和编码过程更为复杂，需要更强的计算资源和时间。其次，纠删码在数据写入时会引入额外的延迟，因为数据需要被切割和编码后才能进行存储。此外，纠删码的数据恢复阶段也需要更多的计算资源和时间。最后，相比于三副本，由于纠删码的特殊编码方式，当出现数据损坏或丢失时，对存储节点之间的网络带宽要求更高。 综上所述，纠删码相对于三副本在存储空间利用率、数据恢复效率和可扩展性方面具有优势，但同时也带来了计算复杂度、写入延迟和网络带宽等问题。因此，在选择使用纠删码还是三副本时，需要根据具体的需求和系统资源情况进行权衡。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值