对象存储S3权限控制

原创

已于 2022-08-08 14:25:22 修改 · 3.9k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#aws #云计算 #ceph

于 2022-01-20 16:09:00 首次发布

本文介绍了如何通过S3权限控制实现不同用户间的资源共享。重点讨论了通过更改用户、使用policy授权及ACL设置来达到特定权限控制的目的，并对比了几种方法的特点。

layout: post
title: 对象存储S3权限控制
catalog: true
tag: [Ceph, S3]

1. 背景
- 1.1. 需求
- 1.2. 存在的问题
2. 几种已有方式的使用
3. 关于s3文档

1. 背景

1.1. 需求

A用户创建了一个桶bucket1
B用户需要能对桶bucket1进行操作
A用户上传的东西B用户可以操作，B用户上传的东西A用户可以操作

1.2. 存在的问题

ceph rgw 多租户不能实现这个功能，且多租户功能还没补齐
bucket link 只能替换存储桶的owner
Policy
- ceph文档太少
- aws文档是否适用于ceph
ACL 权限控制稍弱

2. 几种已有方式的使用

2.1. 更改用户

更改owner，将一个桶的owner变成 user2，这样原来的owner就不具备对桶所有权限了，他的权限全部转移到user2

# 修改
radosgw-admin bucket link --bucket bucketusage --uid user2 --bucket_id e5162bfb-bb2f-46e0-bc9a-1d067d672f73.202155490.1
# unlink 没啥用，用link即可
radosgw-admin bucket unlink --bucket buck

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

gfengwong

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Amazon S3 常用权限分类详解

探索云原生与智能化驱动下的安全运维新范式。关注DevSecOps、可观测性、AIOps等前沿领域，与您共赴技术前沿。

07-07

700

S3 提供了一些预定义的 ACL，如 private、public-read、public-read-write 等。示例：设置桶为公开读取可以为特定的 AWS 账户或用户组指定自定义权限。},],

AWS 中 S3存储桶策略 ( S3 bucket policy )

shenghuiping2001的专栏

01-13

4630

今天开始aws 的认证考试： SAP, 上面有个题目是怎么控制S3 bucket 里面的资源不被另外一个VPC里面的EC2 实例使用，顺便学习了S3 的存储桶策略. 1: 先从创建一个存储桶开始： 2：然后开始编辑这个存储桶的策略，发现原来这个S3 的设定是不公开的：（所以报错了） 3：下面打开这个存储桶的权限： 4：创建一个文件夹： testing, 并且上传一个文件，打开这个文件，看到这个文件的URL： 5：发现报错了，说没有权限： 6：把这个文件的权限打...

参与评论您还未登录，请先登录后发表或查看评论

AWS入门实践－S3 精细化权限控制

weixin_39108752的博客

04-05

2714

Amazon S3的精细访问控制使你能够精确地管理对S3资源的访问权限。这是通过一系列的权限管理工具和选项来实现的，包括身份与访问管理（IAM）策略、存储桶策略、访问控制列表（ACL）和预签名URL。

radosgw-admin命令详细参数

闻到你的人的博客

08-18

3476

raodsgw-admin --help radosgw-admin命令详细参数 policy storage-policy list list all storage policy storage-policy get get storage policy storage-policy set set storage policy storage-policy rm delete storage policy user

35、在 AWS 上运行 S3 操作的全面指南

sunny的博客

10-07

本文全面介绍了在 AWS 上进行 S3 操作的各类方法，涵盖权限与访问控制、使用控制台和第三方工具浏览 S3 内容、通过 Java SDK 以编程方式实现数据的上传、下载、复制和删除操作，并详细解析了单部分与多部分上传机制及重试处理。此外，还介绍了如何利用 MapReduce 和 S3DistCp 实现大规模文件向 S3 的迁移，提供了完整的代码示例和流程图，帮助用户高效、安全地管理 S3 数据。

CEPH radosgw-admin命令大全

weixin_38210643的博客

12-25

2216

user create create a new user user modify modify user user info get user info user rm remove user user suspend s...

s3cmd 安装使用指南

weixin_30765475的博客

09-02

651

https://wangyan.org/blog/s3cmd-how-to-use.html s3cmd 安装使用指南 s3cmd 是一款 Amazon S3 命令行工具。它不仅能上传、下载、同步，还能设置权限，下面是完整的安装使用指南。一、安装方法方法一：（Debian/Ubuntu ） 1 2 3 wget -O- -q http://s3t...

记录：AWS S3桶权限设置

CMEguagua的博客

03-15

3472

要求：1、关闭公开访问 2、服务器使用ak、sk连接，设置存储桶策略 3、开启桶加速，使用 cloufront 域名或者自定义域名 1、存储桶设置--阻止共有访问 2、在 CloutFront 控制台源访问身份并分配 2.1、创建---源访问身份（OAI） 2.2、分配源访问身份的访问 3、配置S3桶的存储桶策略设置桶的访问权限后，！！！注意代码里面不要设置文件的共有访问属性 { "Version":...

Amazon S3 存储桶上设置公共只读访问权限

qq_47415017的博客

04-19

2986

Amazon S3 存储桶上设置公共只读访问权限。

java 使用amazon s3接口访问本地ceph rgw

fct2001140269的博客

07-01

4412

java 使用amazon s3接口访问本地ceph rgw 参考文章：https://blog.youkuaiyun.com/wxmvp009/article/details/79854981 场景区别：场景1.使用aws S3的java接口api访问ceph rgw上搭建的S3文件系统。（本文讲的是这种场景）场景2: 使用aws S3的API直接访问aws S3云存储的存储桶bucket 使用ja...

s3cmd: 简单易用的 Amazon S3 命令行工具

最新发布

gitblog_00035的博客

11-21

2396

`s3cmd` 是一个功能强大的命令行工具，用于与 Amazon S3 存储服务进行交互。它支持各种操作，如上传、下载、列出、删除文件等，并提供了一种简单有效的方式来管理 S3 中的存储。 ## 功能特性 - **易于安装和配置**：只需要简单的几个步骤即可完成 `s3cmd` 的安装和配置。 - **多平台支持**：`s3cmd` 支持 Windows, Linux 和 macOS 平台。

ceph学习 ---s3cmd

会哭的雨@的博客

08-23

2650

ceph学习 s3cmd s3cmd安装通过pip和yum可以直接安装，没有pip的需要安装pip yum install s3cmd pip search s3cmd 生成秘钥 radosgw-admin user create --uid=test1 --display-name="test1" --email=test1@abc.com 查看 radosgw-admin user info --uid=test1 { "user_id": "test1",.

aws s3仅允许cloudfront访问_AWS S3 允许 IAM 用户访问其 S3 某个目录

weixin_39915081的博客

11-25

289

需求：为某个用户设置S3 HOME目录的控制权限，其他目录均无权限访问。新建IAM策略，此示例显示您可以如何创建策略允许 IAM 用户访问其位于 S3 中的主目录存储桶对象。主目录是一个包含 home 文件夹和个人用户文件夹的存储桶。此策略还授予在控制台上完成此操作所需的必要权限。要使用此策略，请将示例策略中的斜体占位符文本替换为您自己的信息{ "Version": "2012-10-17...

S3存储桶策略（S3 Bucket Policies）

iloveaws的博客

01-06

9732

关注公众号：AWS爱好者（iloveaws）文 | 沉默恶魔（禁止转载，转载请先经过作者同意）网站：www.iloveaws.cn 08-S3存储桶策略（S3 Bucket Policies）【 Domain 1的组织复杂性设计（Design for Organizational Complexity）】——-S3存储桶策略（S3 Bucket Policies） Hello大家好，欢迎回...

【分布式技术】分布式存储ceph之RGW接口

liu_xueyin的博客

01-18

1926

提供了user、container和object分别对应于用户、存储桶和对象，不过它还额外为user提供了父级组件account，用于表示一个项目或用户组，因此一个account中可以包含一到多个user，它们可共享使用同一组container，并为container提供名称空间。对象存储（object storage）是非结构数据的存储方法，对象存储中每一条数据都作为单独的对象存储，拥有唯一的地址来识别数据对象，通常用于云计算环境中。2、存储桶属于某个用户并可以容纳对象，一个存储桶用于存储多个对象。

AWS S3桶配置访问权限（AKSK）的流程

dwe147的博客

08-12

6948

为了能访问有权限限制的AWS S3桶，需要在访问S3桶的机器上配置AKSK

[AWS][存储] 制作自己的企业网盘S3 Policy+S3 Browser

栗子哥的云计算博客

06-19

1536

最近很多客户问我S3有没有客户端工具？如何通过IAM用户和权限通过一个客户端来管理我的存储桶？本文以第三方工具S3 Browser 结合 S3 的一些特性（Bucket，Objective-level-logging，IAM user，IAM Policy，S3 versioning）一步一步带你实现客户端的存储桶管理。非常适合的场景是多个部门或Team，比如开发，市场，运营，人事等他们都需要有各自的权限各自的桶来管理文件。先建立一个bucket：s3-bucket-devgroup 来作为测试

存储桶列表访问权限_跨帐户角色授予S3存储桶访问权限 - 权限被拒绝

weixin_39630744的博客

02-05

400

为了重现您的情况，我做了以下事情：在帐户B中创建了 Role-B ，其中EC2作为可信实体("Allows EC2 instances to call AWS services on your behalf")以及授予对Bucket-A访问权限的策略在帐户A中创建了 Bucket-A为Bucket-A添加了 Bucket Policy ，授予对Role-B的访问权限将 Role-B 分配给Amaz...

对象存储s3协议

04-18

<think>好的，我现在要解决用户关于如何使用S3协议实现对象存储以及其工作原理的问题。首先，我需要回顾一下用户提供的引用内容，确保回答准确并涵盖关键点。用户提到了AWS S3的基本概念，比如对象、存储桶，以及类比为硬盘中的文件和文件夹。同时，用户提供的引用中还提到了s3fs挂载工具和MinIO的实现。这些信息需要整合到回答中。首先，工作原理部分，我需要解释S3的核心机制，包括存储桶和对象的结构、REST API的作用、访问控制、数据一致性模型，以及分布式存储的特点。可能需要提到引用中的全球SAN类比，说明其分布式特性。接下来是具体实现步骤。用户可能需要知道如何选择服务（如AWS S3或MinIO），创建存储桶，使用API进行操作，以及通过工具挂载。引用中的s3fs和MinIO的Java依赖可以作为示例，展示如何实际操作。然后，技术选型部分需要比较不同方案，比如公有云、自建方案如MinIO，以及兼容工具如s3fs，帮助用户根据需求选择。引用里提到的MinIO的高性能和兼容性可以作为重点。最后，注意事项部分应该包括数据一致性、权限管理、网络传输和成本优化。引用中的s3fs局限性和数据持久性需要提及，确保用户了解潜在问题。在组织回答时，要遵循用户给的格式要求，比如行内公式用$...$，独立公式用$$...$$，但这个问题可能不需要数学公式。不过要注意正确使用LaTeX，如果有技术术语需要强调的话。另外，生成相关问题时要围绕S3协议的应用场景、与文件存储的区别、数据安全等，确保问题有针对性。检查是否有遗漏的信息，比如S3的URI结构、分段上传、加密等特性，确保覆盖用户提到的所有引用点。同时，保持回答结构清晰，分点说明，帮助用户逐步理解。最后，确认所有引用标记正确，比如[^1]、[^2]、[^3]的位置是否合适，避免错误引用。</think># S3协议对象存储的实现与工作原理 ## 一、S3协议核心原理 S3协议基于分布式对象存储架构，采用$key-value$存储模型，其核心机制包含以下特性： 1. **存储桶与对象结构** 存储桶（Bucket）作为逻辑容器，通过全局唯一命名空间进行管理。对象（Object）由$三元组$定义： $$ \text{Object} = (\text{数据体}, \text{元数据}, \text{唯一标识符}) $$ 引用示例中AWS S3的URI结构为：`s3://bucket-name/object-key`[^1] 2. **RESTful API体系** 所有操作通过HTTP/HTTPS协议实现，核心API包括： - PUT Object（对象上传） - GET Object（对象下载） - DELETE Object（对象删除） - LIST Objects（对象列举） 3. **强一致性模型** 新对象写入和覆盖操作具备强一致性，目录列表操作保持最终一致性[^1] 4. **分布式存储架构** 采用纠删码（Erasure Coding）技术，数据自动分片存储于多个可用区，典型设计支持$n$节点中任意$k$节点故障不影响数据可用性（如12节点容4节点故障）[^3] ## 二、具体实现步骤 ### 方案1：公有云服务（AWS S3） ```python # 使用boto3操作示例 import boto3 s3 = boto3.client('s3', aws_access_key_id='YOUR_KEY', aws_secret_access_key='YOUR_SECRET') # 创建存储桶 s3.create_bucket(Bucket='my-bucket') # 上传对象 s3.upload_file('local_file.txt', 'my-bucket', 'remote_key') ``` 通过AWS管理控制台可配置存储桶策略、版本控制、生命周期管理等高级特性[^1] ### 方案2：私有化部署（MinIO） ```java // Java客户端示例 MinioClient client = MinioClient.builder() .endpoint("https://play.min.io") .credentials("minioadmin", "minioadmin") .build(); // 创建存储桶 client.makeBucket(MakeBucketArgs.builder().bucket("my-bucket").build()); // 上传对象 client.uploadObject(UploadObjectArgs.builder() .bucket("my-bucket") .object("key") .filename("local-file") .build()); ``` MinIO支持单机部署和分布式集群模式，兼容S3协议且提供管理界面[^3] ### 方案3：挂载访问（s3fs） ```bash # 挂载对象存储到本地文件系统 s3fs my-bucket /mnt/s3 -o passwd_file=${HOME}/.passwd-s3fs -o url=https://s3.us-west-2.amazonaws.com ``` 通过FUSE实现POSIX兼容访问，支持$chmod$、$ls$等常规文件操作，但需注意大文件分块上传特性[^2] ## 三、技术选型对比 | 特性 | AWS S3 | MinIO | s3fs | |---------------|--------------|-------------|-------------| | 部署模式 | 公有云 | 私有化部署 | 访问层 | | 协议兼容性 | 原生协议 | 完全兼容 | 部分兼容 | | 最大对象尺寸 | 5TB | 5TB | 依赖后端 | | 数据加密 | SSE-S3/KMS | 客户端加密 | 传输层加密 | | 典型延迟 | 100-500ms | 10-50ms | 100-200ms | ## 四、关键注意事项 1. **数据持久性模型** S3协议设计为$11$个$9$的数据持久性（99.999999999%），但需注意不同服务商的实际SLA差异[^1] 2. **权限控制体系** 采用IAM策略、存储桶策略、ACL三级权限模型，建议遵循最小权限原则： $$ \text{权限} = \text{主体} + \text{操作} + \text{资源} $$ 3. **大文件传输优化** 使用分段上传（Multipart Upload）提升吞吐量： $$ T_{\text{总}} = \max(T_{\text{分块1}}, T_{\text{分块2}}, ..., T_{\text{分块n}}) + T_{\text{合并}} $$ 4. **成本优化策略** 通过生命周期策略自动转换存储层级（标准/低频访问/归档），建议热数据采用$标准$存储，冷数据采用$Glacier$归档