SeaweedFS文件系统部署

分布式文件存储SeaweedFS:数据存储的设计与实现前言 为了满足业务的需求,信也科技基于SeaweedFS搭建了分布式文件存储服务,目前已在生产环境落地,陆续接入了部分业务场景,积累了一些经验。 阅读详情
AI摘要

为解决服务文件图片等数据容灾备份问题,经对比,选择 SeaweedFS 进行调研。它是简单、高伸缩的分布式文件系统,支持10亿级文件快速存取。介绍了其功能、基于 Docker 搭建方法、写入和查询文件序列图等,还总结了优势与不足,并解答了相关问题。

一、背景简介

个人搭建服务部署后,服务的文件图片等数据需要支持容灾备份,以下是常见的解决方案:

  1. 将数据手动/自动备份到当前服务器的其他目录中。
  2. 将数据手动/自动备份到局域网内的其他服务器。
  3. 将数据手动/自动备份到客户私有云存储服务。
  4. 将数据手动/自动备份到共有云存储服务。

为了降低开发和运维成本,我们需要为以上备份场景制定通用解决方案。

常用的开源分布式文件系统有:TFS(GPL-2.0 license)、HDFS(Apache License 2.0)、MooseFs(GPL-2.0 license)、FastDfs(GPL-3.0 license)、GridFs、MinIO(AGPL-3.0 license)、SeaweedFS(Apache-2.0 license)、GlusterFS(GPL-2.0, LGPL-3.0 licenses)、Ceph(relicense LGPL-2.1 code as LGPL-2.1 or LGPL-3.0)等。

从功能上看,只有Ceph、MinIO 和 SeaweedFS 提供了 Cloud Tier 和 AWS-S3 API,比较方便备份到云存储,最符合我们要求。其中 Ceph功能强大,但是配置复杂,运维成本较高;MinIO 使用和部署都比较简单,且自带多租户功能,但是使用了 AGPL-3.0 license,该协议传染性较强,不适合我们的场景。故最终以 SeaweedFS 调研为主。

二、SeaweedFS 功能介绍

SeaweedFS 是一款简单、高伸缩的分布式文件系统,最大的特点就是支持10亿级文件快速存取,文件查询时间复杂度为O(1)。系统逻辑架构如下:

SeaweedFS 在部署上采用元数据和数据分离的存储方式,元数据存储在 Master 节点中,具体文件数据存储在 Volume 节点中,另外集群也支持选配 Filer 服务,Filer 服务提供了具体业务场景的抽象,封装Master 和 Volume 使其更加易用和更容易与客户现有系统集成。

SeaweedFS 支持数据自动同步到云存储,该操作过程会客户端透明,当客户端读写文件时,默认会操作本地文档,当本地文件不存在时,会自动读取云存储文件。架构如下:

基于docker搭建

Docker Compose 如下:

version: '3.9'

services:
  master:
    image: chrislusf/seaweedfs # use a remote image
    ports:
      - 9333:9333
      - 19333:19333
      - 9324:9324
    command: "master"
  volume:
    image: chrislusf/seaweedfs # use a remote image
    ports:
      - 8080:8080
      - 18080:18080
      - 9325:9325
    command: 'volume -mserver="master:9333" -port=8080 -publicUrl=localhost:8080'
    depends_on:
      - master
  filer:
    image: chrislusf/seaweedfs # use a remote image
    ports:
      - 8888:8888
      - 18888:18888
      - 9326:9326
    command: 'filer -master="master:9333"'
    tty: true
    stdin_open: true
    depends_on:
      - master
      - volume
  s3:
    image: chrislusf/seaweedfs # use a remote image
    ports:
      - 8333:8333
      - 9327:9327
    command: 's3 -filer="filer:8888"'
    depends_on:
      - master
      - volume
      - filer

启动命令如下:

docker-compose -f docker/seaweedfs-compose.yml -p seaweedfs up

写入文件序列图

第一步查询元数据返回结果如下:

{"count":1,"fid":"3,01637037d6","url":"172.16.0.2:8080","publicUrl":"localhost:8080"}

其中fid中的格式为 <volume id, file key, file cookie>,逗号之前的3表示文件存储在 id 为 3 的 volume 中,是一个 32-bit 无符号整数,key 为 64-bit 无符号整数,cookie 为 32-bit 无符号整数。

第二步基于元数据存储文件时,可以指定使用url、publicUrl 或者 Filer Url来查询,默认使用url,这三种 url 是彼此独立的命名规则。

查询文件序列图

在查询文件时,第一步需要根据 volumeId 查询 volume 服务的地址,结果如下:

{"volumeId":"3","locations":[{"publicUrl":"localhost:8080","url":"172.16.0.2:8080"}]}

第二步基于元数据查询存储文件时,可以指定使用url、publicUrl 或者 Filer Url来查询,默认使用url,这三种 url 是彼此独立的命名规则。

访问数据文件时以下链接功能等同:

 http://localhost:8080/3/01637037d6/my_preferred_name.jpg
 http://localhost:8080/3/01637037d6.jpg
 http://localhost:8080/3,01637037d6.jpg
 http://localhost:8080/3/01637037d6
 http://localhost:8080/3,01637037d6

源码仓库

github-seaweedfs

注意事项:在创建Client时需指定使用Volume的具体地址,否可能网络不通

总结

  SeaweedFS 主要优势

  性能比较强大:核心理论依据是基于 Facebook's Haystack design paper,该paper的目标也是解决facebook内部图片视频等数据的存储查询问题。

  架构设计比较灵活: 系统设计参照了Facebook’s Tectonic Filesystem,特别是几个核心组件的设计,抽象的比较好,非常方便扩展不同的实现,并且整体架构上可以水平扩容,没有明显的瓶颈点。

  功能齐全:存储比较关心的冷热分离,弹性云存储,TTL等功能都有支持。

  部署简单:部署非常简单,很容易上手。

  SeaweedFS 的不足

  对 S3 Api 支持不完整:实现了大部分的常用接口,部分非常用接口未实现,不过影响不大,比如Canned ACL等。

  缺少多租户的能力:缺少多租户的概念,所以如果支持用户都把数据存储到我们的云存储服务,则需要自己做二次开发。

问题解答

问题:

  1. 文件的分层安全机制;
  2. 一个桶的不同账户,不能互相访问文件;
  3. 文件数量支持

  解答:

  1.   SeaweedFS 采用元数据和实际数据分离的方式,接口对外暴露的只是元数据中的 fid,其 fid 的机制可以在一定程度上防止暴力破解;实际数据存储在不同的桶里,并支持对存储文件进行加密处理。
  2.   SeaweedFS 没有提供多租户概念,所以一个桶的不同账户需要在业务层做权限隔离。
  3.   SeaweedFS 支持集群部署和备份,可以支持亿级文件存储。

SeaweedFS 集群部署方案与 CSI 插件使用 SeaweedFS 是一个快速分布式存储系统,用于处理大量小文件、对象、文件和数据湖。它具有 O(1) 磁盘寻道时间,支持云分层存储。Filer 支持云盘、跨数据中心主备复制、Kubernetes、POSIX FUSE 挂载、S3 API、S3 Gateway、Hadoop、WebDAV、加密和纠删码。 阅读详情

相关推荐

SeaweedFS分布式文件系统集群部署指南

分布式文件系统是现代云计算和大数据场景中的核心基础设施,通过将数据分散存储在多个节点实现高可用和弹性扩展。SeaweedFS作为专为海量小文件优化的分布式存储方案,采用Master-Volume分离架构实现元数据与数据分离管理,其创新的体积(Volume)设计显著提升了小文件存储效率。在技术实现上,通过一致性哈希算法自动分配数据位置,支持跨机架/数据中心的副本策略,配合LevelDB索引实现高性能检索。该技术特别适合CDN图片存储、文档管理系统等需要处理百万级小文件的场景,相比传统HDFS可降低50%以上的

weixin_30231327的博客 205

对象存储之SeaweedFS简介及与MinIO的对比

SeaweedFS是一个分布式可扩展的对象存储系统。 SeaweedFS的主要组件说明如下: master service【主服务】和Volume service【卷服务】一起提供分布式对象存储服务,支持用户配置数据的复制和冗余策略。 可选的Filer service【过滤器】和S3 service【S3服务】是对象存储之上的附加层,可以根据需要进行部署

penriver的博客 1万+

本地部署开源分布式文件系统 SeaweedFS 并实现外部访问( Windows 版本)

SeaweedFS 是一款开源的、可扩展的、高性能的分布式文件系统,它由 Chris Lu 创建,设计目标是简单、快速、可靠,并特别针对云环境和现代大规模数据存储需求进行了优化,主要用于存储和管理海量的小文件。本文将详细介绍如何在 Windows 系统本地部署 SeaweedFS 并结合路由侠实现外网访问本地部署的 SeaweedFS。

lyxnwct的博客 1005

SeaweedFS 分布式存储

SeaweedFS 是一种多功能且高效的存储系统,旨在满足现代系统管理员管理 blob、对象、文件和数据仓库存储需求的需求。无论数据集的大小如何,其架构都能保证快速访问时间,磁盘寻道时间为常数时间 (O(1))。这使其成为速度和效率至关重要的环境的绝佳选择。:Blob 存储是基础,包括主服务器、卷服务器和云层,可实现无限可扩展性。: 以 Blob 存储为基础,通过添加文件服务器来管理类似文件系统的操作。:使用与 S3 兼容的服务器扩展了文件存储,使其与现有 S3 工作流集成变得轻而易举。

Johnny's Lab 4019

Windows 10/11 下 SeaweedFS 分布式文件系统快速入门:5分钟搞定本地部署与内网穿透

本文详细介绍了在Windows 10/11系统下快速部署SeaweedFS分布式文件系统的完整流程,包括单机模式配置、文件操作指南及安全内网穿透方案。通过5分钟极简部署,开发者可轻松搭建高性能本地存储环境,并实现高效的外部访问,适用于开发测试、团队协作等场景。

gpu4optimizer的博客 217

JuiceFS 集群部署详细指南:使用 SeaweedFS 作为数据存储,ETCD 作为元数据存储

部署一个 JuiceFS 集群,其中数据存储层采用高性能的分布式对象存储 SeaweedFS,元数据存储层采用强一致性的分布式键值存储 ETCD。这种组合方案旨在为用户提供一个高性能、高可用、易于扩展且数据强一致的分布式文件系统解决方案,特别适用于云原生环境和对小文件读写性能有较高要求的场景。 JuiceFS 通过将文件数据和元数据分离存储,充分利用了各自存储系统的优势:SeaweedFS 负责高效地存储和管理海量文件数据块,而 ETCD 则提供可靠且一致的元数据服务。JuiceFS 客户端作为连接两者的

北斗云的博客 1616

本地部署开源分布式文件系统 SeaweedFS 并实现外部访问( Linux 版本)

SeaweedFS 是一款用 Go 语言开发的高性能分布式文件系统,它采用类似 Facebook Haystack 的架构理念,通过将文件元数据和文件内容分离的方式实现高效存储和快速检索,支持自动压缩、纠删码和数据复制等特性,具有部署简单、运维便捷的特点,非常适合作为云原生应用的对象存储解决方案。本文将详细介绍如何在 Linux 系统局域网内部署 SeaweedFS 并结合路由侠实现外网访问局域网内部署的 SeaweedFS。

lyxnwct的博客 1446

seaweedfs-1-介绍

SeaweedFS 通过轻量级架构和分层设计,在大规模非结构化数据存储中实现了高性价比和灵活性,其发展历程始终围绕 “高效、可扩展、易集成” 的目标。无论是中小企业的海量数据存储,还是企业级的云原生与 AI 场景,SeaweedFS 都能提供适配的存储解决方案。

xuebo1129927648的博客 665

SeaweedFS分布式文件系统部署与运维指南

分布式文件系统是现代云计算和大数据场景中的核心技术,通过将数据分散存储在多个节点实现高可用与扩展性。SeaweedFS作为轻量级开源方案,采用Master-Volume架构设计,特别擅长海量小文件存储场景。其核心优势在于自动数据均衡和灵活的副本策略,通过RESTful API和S3兼容接口提供服务。在工程实践中,合理配置副本策略(如001跨机架复制)和存储层级(SSD+HDD混合部署)能显著提升性能。本文以weed命令行工具为例,详解包括Master高可用配置、Volume扩容监控等生产级运维要点,帮助开发

weixin_33416697的博客 300

SeaweedFS是一个简单且高度可扩展的分布式文件系统,可以快速存储和提供数十亿个文件! SeaweedFS通过O(1)磁盘搜索,透明云集成以及支持POSIX,S3 API,AES256加密,用于热存储的擦除编码,FUSE挂载,Hadoop兼容,WebDAV的可选Filer,实现了对象存储。-Golang开发

SeaweedFS支持SeaweedFS SeaweedFS是一个独立的Apache许可的开源项目,由于这些出色的支持者的支持,其正在进行的开发成为可能。 如果您想要SeaweedFS支持SeaweedFS SeaweedFS是一个独立的Apache许可的开源项目,由于这些出色的支持者的支持,其正在进行的开发是完全可能的。 如果您想使SeaweedFS更加强大,请考虑加入Patreon上的赞助商。 我和其他支持者将非常感谢您的支持! 通过Patreon赞助SeaweedFS。下载不同平台上的Binary在Slack上使用SeaweedFS在Twitter上使用SeaweedFS SeaweedFS Mailin

嵌入式学习的书单推荐

以上是一些优秀的嵌入式学习书单推荐。选择适合自己的学习材料对于学习嵌入式系统非常重要。每一本书籍都有其独特的优势和特点,读者可以根据自己的学习目标和兴趣选择合适的书籍。同时,我们也要注意不断实践和探索,结合实际项目和项目经验,不断提升自己的嵌入式技术水平。希望本文的推荐能够帮助大家在嵌入式学习的道路上取得更好的成果。

新程序圆 1980

SeaweedFS分布式文件系统集群部署与优化实践

分布式文件系统是处理海量小文件存储的核心技术,通过将数据分散存储在多个节点实现高扩展性。SeaweedFS采用创新的文件卷(Volume)架构,每个卷可存储约30GB数据,特别适合AI训练等需要处理海量小文件的场景。其技术价值在于简化了分布式存储的复杂度,同时保证了高性能和高可用性。在实际工程实践中,部署SeaweedFS集群需要重点考虑硬件选型、系统调优和监控方案设计。本文基于1.5PB生产环境经验,详细介绍了从环境准备、集群部署到性能调优的全流程,特别是针对LevelDB索引优化和跨机房部署等高阶实践,

weixin_29722783的博客 124

LIN协议栈 AUTOSAR架构下 状态管理

LIN State Manager 通过对这些状态的管理和转换,实现了对 LIN 总线通信状态的精确控制,以满足汽车电子系统中不同场景的需求。

汽车电子从业者,电子爱好者。 2052

SeaweedFS分布式文件系统部署与运维实战指南

分布式文件系统是现代云计算和大数据架构中的核心组件,通过将数据分散存储在多个节点实现高可用与扩展性。SeaweedFS作为专为小文件优化的轻量级解决方案,采用Go语言实现并创新性地使用fid定位机制,在存储海量图片、文档等场景展现出显著性能优势。其核心架构包含Master节点(管理元数据)和Volume节点(存储实际数据),通过weed命令行工具实现全生命周期管理。在生产实践中,合理的参数配置(如-volumeSizeLimitMB调整)和监控策略(副本数检查、空间监控)是保障稳定运行的关键。与Kubern

weixin_29913663的博客 185

宝塔面板+pbootCMS建站全流程:从服务器选购到上线优化(附常见问题排查)

本文提供了一份详尽的宝塔面板与pbootCMS建站实战指南。内容涵盖从云服务器选购、宝塔面板部署与安全加固,到pbootCMS安装、权限配置、数据库连接等核心步骤。同时深入讲解了PHP环境优化、Nginx伪静态设置、缓存开启等性能与SEO优化技巧,并附有常见问题排查与后期维护建议,帮助用户高效、稳健地完成专业网站构建。

e4f5g6h的博客 661

Apifox CLI + Claude Skills:将接口自动化测试融入ai

基于 Apifox CLI、Claude Code以及Claude Skills组合,实现自然语言触发接口自动化测试。

wwz_0012的博客 600

SeaweedFS部署

seaweedFS

Fairy的博客 2133

RuoYi-Cloud-Plus使用minio进行文件上传图片后无法预览解决_修改minio配置minio桶权限---SpringCloud工作笔记198

在文件管理的位置,发现刚刚上传的图片文件,会显示 预览图片失败 后来经过多方查看,发现是minio的配置的问题。可以看到首先登录RuoYi-Cloud-Plus系统然后,打开文件管理页面可以看到,当上传了图片文件以后。登录以后,选中左侧Buckets,可以看到有自己用的桶,找到以后点击打开。显示文件展示中,文件预览失败,那么这个时候,去修改minio的配置。可以看到,点击配置管理,这里我们启用的是minio对吧。默认是没有配置的这个时候,是允许下载,但不允许预览的.

添柴程序猿的专栏 5569

ubuntu18.04安装SeaweedFS

1、首先去官网下载对应版本的软件包seaweedfs下载地址 2、下载好软件包上传到需要安装的服务器解压,并创建相关目录 tar -zxvf linux_amd64.tar.gz #解压 mkdir -p ./seaweedfs/data ./seaweedfs/volume #创建目录存储日志文件 3、配置master端并执行 nohup ./weed master -ip=172.16.30.24 -port=9333 -mdir=./seaweedfs/data -peers

weixin_42603784的博客 1412

UG\NX二次开发 获取对象的引用集

获取对象的引用集,一个对象可能有多个引用集,下面这个封装函数可以获取对象的所有引用集。

王牌飞行员_里海的博客 492

STM32实战开发(120):基于STM32的智能pH值检测系统开发

pH值检测:通过pH传感器实时检测溶液的酸碱度。数据采集与处理:STM32单片机通过模拟信号采集并进行数字化处理。数据显示与控制:通过LCD或OLED屏幕实时显示pH值。数据存储与上传:将数据保存在本地SD卡,或通过Wi-Fi模块上传至云平台。低功耗设计:适合长时间运行,减少能源消耗。本文介绍了如何基于STM32单片机开发智能pH值检测系统,涉及硬件设计、软件开发及应用实现。该系统可以实时检测pH值,并将数据展示、存储、上传至云平台,适用于环境监测、农业、水处理等多个领域。

2201_76125393的博客 1819
上一篇: 驱动类软件选择
下一篇: jar包代码混淆
爱钓鱼的程序员小郭
博客等级 码龄10年 100粉丝 40原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

爱钓鱼的程序员小郭

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值