对象存储的一点点思考

视频等文件对象存储及数据库存储心得 阿里OSS或其他云服务OSS提供商,以下以阿里为例阿里技术文档参考:         https://promotion.aliyun.com/ntms/act/ossdoclist.html?spm=5176.7933691.744462.c2.2e436a56XNiW2f以下针对视频文件作说明,其它格式文件以此类推;在对象存储模块建视频文件夹,阿里云会反馈该文件夹的URL,之后上传的文件会反馈... 阅读详情

      对象存储,一般地,我们认为是指对于给定的唯一的key,获取对应的value。这其实是一种map的数据结构,它仅仅是根据提供的key这单一因素获取指定的value。这里的map指带的是路由的map,非本地基于内存的数据映射,因为路由经常是分布式系统需要重要考虑的因素,也是影响性能的重要因素。对象存储一般用来存储小文件,其大小一般在KB~20MB之间(KB~10MB),如果从终端用户的角度看待对象存储,那么这个key就是一个filepath(文件系统中的称谓)或者存储系统中的url,而value就是文件内容。从这个角度来讲,对象存储系统就是实现了文件URL到文件内容的CURD服务。

      在具体实现时,根据不同的约束条件或者限制,可能具有不同的实现设计。在此,先不评头论足,仅仅横向记录下可用的选择,以及对其设计进行抽象总结,进而以帮助分析其“秋色如何”。

      为了表述严谨,我们将真正获取到存储数据实体地址之前的路由过程称之map的过程。

      有的设计中,在获取到value之前,需要1次或者多次用到递进式map方能获取到需要的value,而多次递进式map可能会有多次网络链路请求。比如HDFS,文件的key为HDFS://filepath,在获取文件内容时,需要map[filepath]  -> [blocks: dns],进而定位到存储数据的实体,获取value,即文件内容。在比如HBase,tableName+rawkey就是记录的url,而获取rawkey对应的内容,或者一行记录,需要至多经过3次递进式map+1次HDFSmap,map[tableName, raowKey]->root table -> meta table -> region server , 再经过map[HFile]->[HDFS blocks, dns], 定位到具体的存储数据的实体(这里是datanode)即可获取数据。

     有的设计中,在获取value时,仅需要0次map就可以定位到存储数据的实体,目前为止,这种设计的寻址方式是基于计算,而非查询。比如Ceph,在获取到整个CRUSH map后,仅仅通过一致性算法计算便可得到存储数据的地址,进而就可以获取数据本身。这里的key一般是指object_id,而object_id可由bucket + filepath + sharding/stripping组合而成。在比如Redis,对于给定的key,可以通过一致性hash算法计算出记录对应的redis实例地址。

      有的设计中,在借鉴前两种设计的基础上,进行自己的扩展设计。典型的设计方式是,在获取底层存储数据元数据时,采用前面两种设计中的一种,而获取真正的value时进行另外的设计。比如采用HBase作为用户文件到底层存储系统的key的映射,而key是由底层存储系统产生的,它具有唯一性。这样key的设计就比较灵活,可以是一个64位的串,可以是一个128位的串,也可以是数据库的primaryid,当然也可以是md5串,这取决于如何设计key到存储实体的映射以及实体如何管理众多的对象。在这种设计方式中,key到存储实体dn的获取有两种方法,一是通过查询,一是通过计算。

     以上设计,暂不进行“华山论剑”,但是其分析的过程,就映射着各自不同的特点。接下来,从整体上,基于另外一个角度,谈一谈自己的思考。在此谈论的对象存储设计思路都是基于一对一查询,即用户提供某种形式的url,获取相关内容,而对于多条件查询并未涉及。

    一对一的key到value的查询一般应用于一次仅处理一个对象的系统或者一次处理多个确定对象的系统。比如对于静态网页,网页中嵌入的多张静态图片,或者新闻报道中嵌入的多张图片等等。这种应用非常常见,也确实是对象存储系统的用武之地。但是最近几年机器学习或者深度学习技术如火如荼,基于标记的数据获取作为训练样本可能更加具有意义,而这离不开多条件查询机制。比如获取大量标记为人群活动、像素大小在800*800、生活在北京的图片作为AI算法的训练样本。这对对象存储系统有了更高的要求。 关于这部分的对象存储设计,因今日天色已晚,待日后补充

201811102340pm 记 北京 西坝河 周六 双11前夕

分布式对象存储MINIO 测试总结 背景了解 对象存储介绍 对象存储,也叫做基于对象的存储,是用来描述解决和处理离散单元的方法的通用术语,这些离散单元被称作为对象。​ 就像文件一样,对象包含数据,但是和文件不同的是,对象在一个层结构中不会再有层级结构。每个对象都在一个被称作存储池的扁平地址空间的同一级别里,一个对象不会属于另一个对象的下一级。 ​ 文件和对象都有与它们所包含的数据相关的元数据,但是对象是以扩展元数据为特征的。每个对象都被分配一个唯一的标识符,允许一个服务器或者最终用户来检索对象,而不必知道数据的物理地址。这种方法对于在云计 阅读详情

相关推荐

聊聊什么是对象存储?

从来没接触过对象存储的可能有点蒙,对象存储是啥,使用场景是啥,还有没有文件系统POSIX哪些接口? 公有云厂商对对象存储的定义 AWS S3 Amazon Simple Storage Service (Amazon S3) 是一种对象存储服务,提供行业领先的可扩展性、数据可用性、安全性和性能。这意味着各种规模和行业的客户都可以使用它来存储和保护各种用例(如网站、移动应用程序、备份和还原、存档、...

伢之国 3109

对象存储基本知识介绍

介绍对象存储的相关基础知识、适用场景以及基本使用工具

拓荒者的博客 3872

Flink + Iceberg + 对象存储,构建数据湖方案

简介:上海站 Flink Meetup 分享内容,如何基于Flink、对象存储、Iceberg 来构建数据湖生态。 本文整理自 Dell 科技集团高级软件研发经理孙伟在 4 月 17 日 上海站 Flink Meetup 分享的《Iceberg 和对象存储构建数据湖方案》,文章内容为: 数据湖和 Iceberg 简介 对象存储支撑 Iceberg 数据湖 演示方案 存储优化的一些思考 一、数据湖和 Iceberg 简介 1. 数据湖生态 如上图所示,对于一个成熟的数据湖生态而言: .

阿里云云栖号 1568

对象存储只能按文件名搜索,你out了吧

不少大公司的一个桶里都是几亿几十亿的对象,那他们都是怎么检索的呢?

华为云官方博客 1872

看我的奇思妙想,解决对象存储被刷钱的情况

社交支付类的项目,怎么能没有图片上传功能呢!涉及到文件存储我第一时间就想到了 OSS 对象存储服务(腾讯叫 COS),但是接着我又想到了”OSS 被刷 150 T 的流量,1.5 W 瞬间就没了?本来想着是自己搭建一套 MinIO ,但后来一想服务器的开销又要大了,还是作罢了。就在此时,我脑袋突然灵光了一下,既然对象存储的流量是由于资源 url 泄漏导致的外界不停的访问 url 使公网流量剧增从而引起巨额消费,那我能不能不泄露这个 url 呢!

m0_71777195的博客 1011

对象存储和 CDN 实现分析揭秘

文章目录1、使用姿势2、cdn 回源使用方案2.1、presign2.2、授权方案2.3、公共读方案3、方案对比 分享对象存储和 CDN 联动的话题,一般来讲,公有云厂商提供对象存储的服务之外,还会附带一些增值服务,这些服务是适配不同的应用场景的。什么意思?对象存储本质上解决了海量存储的问题,但是数据不仅要可靠的存储,大部分情况还要处理才会有价值,所以一般公有云厂商还会有数据处理的服务,比如图像处理,类似缩略图,音视频转码,视屏截帧。其次,数据访问,也有特殊需求,比如一次上传,多次下载的场景,就配合使用 C

伢之国 1117

初学对象存储OSS---学习笔记

初学OSS,白嫖了三个月,分享一下学习心得!从前,有一个小村庄,这个小村庄的人们生活朴素,但是却非常团结。他们的主要收入来源是从周边山林中收集各种野果和草药,然后卖给城市里的商贩。有一天,村庄里的年轻人听说了互联网和电子商务,他们想利用这个机会来将自己的野果和草药推销到全国各地。然而,他们发现自己没有能力和资源来开发和维护自己的在线商店。幸运的是,他们听说了阿里云的对象存储(OSS)服务,这个服务可以为他们提供可靠的存储和访问服务,同时还可以自动扩展存储容量,以满足他们日益增长的业务需求。

加辣椒了吗?的博客 1499

深入Linux内核:PTP硬件时间戳(HW Timestamp)是如何炼成的?

本文深入探讨了Linux内核中PTP硬件时间戳(HW Timestamp)的实现原理与实战应用。通过分析IEEE 1588协议在网络时间同步中的关键作用,详细解析了硬件时间戳在Linux内核中的架构设计、驱动开发及性能优化技巧,帮助开发者实现纳秒级精度的时间同步。

weixin_30727835的博客 655

从一到无穷大 #3 对象存储.浅谈

扁平的名称空间可以高度概述对象存储,但是我认为这不是选型的核心因素,对象存储的各种操作可以轻松的用Nosql代替。

李兆龙的博客 981

【软件逆向学习记录】x64dbg调试器入门2:主调试窗口功能及字符串搜索功能介绍

在x64dbg中, ​​CPU视图 是调试过程中最核心的界面,通常被称为​​主调试窗口​​或​​调试视图​​,总体分为四个区域,代码区(反汇编),数据区(内存窗口),寄存器区和堆栈区,详细位置如下图:示例数据代码区最左侧为内存地址,第二块区域为程序代码值,原始程序代码经编译和汇编后变为二进制机器码存储在计算机中,调试器将其展示为易于阅读的十六进制,第三块区域是机器码反汇编后的汇编代码,最右侧为代码的注释窗口,有一些原始的注释,也可以自己添加注释PS:汇编和反汇编解释。

tusikong的博客 2924

S4HANA - Cost Elements成本要素

SAP这里面的配置逻辑很像,就是先建一个对象,然后不停给这个对象附加一些属性,给一个账户附加编号范围,附加账户组。所有模块的维度都在这个表里,看下图的GL,CO,COPA,AA,ML的都在ACDOCA里。要把这5个类型和六大要素对应,先得把六大要素和账户类型对应下(以下是个人理解,不知道对错):当然那个C是新来的,我觉得放在资产下面也行,就不画图了。S4的嵌入式分析是在业务逻辑都整套嵌入的情况下,预开发了数据模型,所以它能提供的就不仅是原始数据了,它能提供的是包含所有相关联的上下文的信息数据。

weixin_45689053的博客 2396

ceph对象存储使用的一些思考

index对象(存储在.rgw.bucket.index存储池中,或者元数据池中,一般是ssd介质)一般记录的是对象的记录,多版本信息、分片信息、多站点等。先说一下当前桶index设计的好处,对象通过hash桶的分片数(默认好像是128,可以调整,甚至分裂),分别在各个index上进行记录,便于list等操作。但是上述问题,却是我们在上市项目遇到的绝大对数复杂问题,也是对象存储的难点和重点改进方向,至少在我看来是的。3)桶索引分片的结构是omap结构,单个分片是有序的,分片之间是无序的。

陶二先生的专栏 1226

Ai数字人直播系统源码部署

虚拟形象定制,直播内容智能生成,多语言支持,智能互动,声音克隆,24 小时不间断直播,多平台直播,智能数据分析,实时情感识别,视频合成,Ai数字人直播系统源码出售,Ai数字人直播系统源码部署实现 AI 数字人 24 小时不间断直播功能是一个较为复杂的任务,涉及到多个方面,如直播流的推送、内容的持续生成、系统的稳定性保障等。以下为你提供一个简化的实现思路和示例代码,借助 Python 结合 FFmpeg 工具来模拟 24 小时不间断直播。

weixin_ggwwsscc的博客 1259

如何选择合适的对象存储?这5个方面你值得思考!

随着当今大数据技术、移动互联、物联网技术的迅速发展,音视频、图片、监控等数据呈几何倍数增长,与视频相关的平台也通常储存着PB级的非结构化数据。应对这般海量且种类繁多的数据,传统的存储系统例如NAS、SAN等集中式存储在容量和性能上面都早已不能满足需要。 以文件存储NAS系统为例子,考虑到受制于文件系统的目录结构,在海量文件的场景下,访问性能明显降低,会发生读写速度低、传输速率慢的难题,且受制于机头性能,在扩展性上面有很大限制。而SAN架构则考虑到造价成本高、不同操作系统主机相互之间不能互通的原因,不利信息共

Chihider的博客 807

C#解析基恩士(KEYENCE)PLC数据:KV协议通信与实时监控实现

KV协议是基恩士PLC使用的一种专用通信协议,通常用于与上位机进行数据交换。KV协议通过RS-232C、RS-485、Ethernet等接口与上位机通信,支持多种数据类型的读写,包括但不限于位、字、双字、浮点数等。简洁易用:KV协议的通信格式简单,易于实现。支持多种数据类型:支持位数据、字数据、定长字符串等。高效实时性:能够提供较高的实时数据交换性能,适合实时监控应用。本文介绍了如何通过C#与基恩士KV系列PLC进行通信,实现数据的解析和实时监控功能。

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 1811

Python爬虫实战:中国土地市场网招拍挂数据抓取与分析

本文详细介绍了如何使用Python爬虫技术从中国土地市场网抓取土地招拍挂数据,并进行初步的数据分析与可视化。文章涵盖了爬虫的基本原理、反爬虫策略应对、数据清洗与存储、数据分析与可视化等多个方面,为土地市场研究者提供了一套完整的数据获取与分析解决方案。

2201_76125261的博客 690

京东智联云对象存储高可用架构设计思考

在刚刚过去的618大促中,京东视频抛弃了私有存储,将京东智联云对象存储作为京东视频的唯一存储。在整个618过程中,京东智联云对象存储提供了稳定的服务,助力618完美落幕。 618大促作为京东集团最重要的活动,对所有服务的可用性有极高的要求,京东视频作为京东的一级系统,对存储的故障更是零容忍,那么如何保障系统的高可用呢?下面我们就一起来探讨下京东智联云对象存储在高可用架构设计上的一些思考。 作为一个有状态的服务,影响服务可用性的因素有很多,一般来说会有以下几大类: 硬件/网络故障,该故障会导致部分数据无法.

京东科技开发者 1052

杰理JL7033C芯片运行SoundFont音色库教程

本教程介绍如何在杰理JL7033C芯片上移植TinySoundFont音色库,实现MIDI播放功能。关键步骤包括:获取TinySoundFont开源代码,创建音色库声音播放数据流,封装核心功能文件。硬件需配备外部PSRAM和NOR FLASH存储音色库,软件使用杰理SDK和工具链。移植后系统可支持40个voice,满足MIDI播放和电子琴演奏需求。教程详细说明了代码移植过程,包括音色库文件处理、内存配置和音频流水线设置。

qq_42014563的博客 617

对象存储 ListObject 有啥值得思考的?

文章目录如何列举桶中对象怎么列举对象?请求参数响应格式“列举对象”是否真的很简单?ListObject 的思考总结 如何列举桶中对象 云存储服务对业务提供基础的数据上传、下载能力,以简单易用作为重点,但有些时候,我们有列举需求。列举是什么意思?比如我们往一个 bucket 里面上传了一些对象,但是我们不知道名字,那么只能让存储系统来告诉你,这个 bucket 里对象的列表。“列举”这是一个简单的需求,但是也有隐形的约束或者前提需要明确。对象存储一把应对的场景是海量对象(上亿级甚至更多),这种前提下,提供的列

伢之国 1927

【实战教程】OpenClaw接入MySQL数据库实战指南

本文介绍了在虚拟机Ubuntu中访问宿主机Win11中MySQL数据库的配置方法,重点包括创建远程用户、权限配置和安全设置。首先在MySQL中创建具有只读权限的用户并刷新权限,然后调整服务器设置允许远程连接。文章还提供了某金融机构财富管理系统的数据库设计方案,包含理财产品表、客户表和份额表的核心结构,其中金额字段使用DECIMAL类型确保精度,并设置唯一键约束。文末强调测试环境配置完成后应恢复安全更新模式以保障生产环境安全。

海兰 8702

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

对象存储 Bucket

layout: post title: “对象存储 Bucket” date: 2020-7-26 1:44:09 +0800 categories: s3 对象存储 Bucket 文章目录BucketBucket 是什么?Bucket 命名规范Bucket 权限类别Bucket 的创建Bucket 的删除思考问题 Bucket Bucket 是什么? 对象存储里面只有两个跟资源相关的名词:Bucket,Object。 Bucket 中文直译为”桶“,Object 显而易见就是”对象“。所有 Objec.

伢之国 4067

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

软件定义对象存储购买指南

摘要 对象存储作为云原生时代的核心存储技术,凭借其元数据驱动、无限扩展和API访问的特性,正成为现代企业数据战略的关键选择。本文系统阐述了对象存储的本质特征:它将数据存储为包含元数据和唯一ID的对象,特别适合处理80%的非结构化数据。通过澄清"性能慢"、"仅适合归档"等常见误区,文章比较了对象存储与文件/块存储在成本、规模和适用场景上的差异。重点指出,真正的云原生对象存储必须满足Kubernetes编排、多租户、轻量级等六大标准,而软件定义是实现这些目标的基础。企业评

MinIO 915

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

SpringBoot整合阿里云OSS、天翼云OSS、MinIO对象存储

这三种对象存储工具都是我在真实项目中使用过的,它们的使用流程相似,接口名称也差不多,但是在一些细节上还是有些不同的地方。为了让大家更好地了解它们,我在文章中都有标明区别。阿里云和天翼云使用起来比较方便,只需要购买服务就可以了。而MinIO就比较麻烦,需要自己搭建一个服务器环境,并在生产环境中满足主备、证书等方面的要求,这也让我在使用过程中踩了不少坑。不过,我会在新的文章中详细介绍如何搭建MinIO服务器以及如何解决它的问题。

summon的博客 3683

马逊s3云存储接口_对象存储 ListObject 有啥值得思考的?

大纲如何列举桶中对象怎么列举对象?“列举对象”是否真的很简单?总结如何列举桶中对象云存储服务对业务提供基础的数据上传、下载能力,以简单易用作为重点,但有些时候,我们有列举需求。列举是什么意思?比如我们往一个 bucket 里面上传了一些对象,但是我们不知道名字,那么只能让存储系统来告诉你,这个 bucket 里对象的列表。“列举”这是一个简单的需求,但是也有隐形的约束或者前提需要明确。对...

weixin_39692253的博客 867
上一篇: 关于vim中替换\或者\\ \\\为其他字符的方法
下一篇: Visitor设计模式与基于Spark RDD的DAG计算
Chine CH
博客等级 码龄12年 3粉丝 5原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值