- 博客(21)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 开源对象存储项目一览
开源对象存储领域正经历重大变革：MinIO因转向商业化停止维护开源版本，引发用户流失；Ceph-RGW凭借稳定性和多协议支持仍是OpenStack首选，但架构复杂；新兴的RustFS对标MinIO，性能优异但尚未成熟；SeaweedFS在小文件存储领域表现突出，但生态不完善；OpenStack Swift则面临市场关注度下降的挑战。当前各方案各有优劣，用户需根据场景谨慎选择。
2025-12-11 10:39:57
423
原创 基于Redis的分布式任务调用框架实现
本文介绍了基于Redis Stream实现的分布式任务框架Demo，主要功能包括Agent节点管理、异步/同步调用及消息追踪。通过Redis HASH和SET实现Agent上下线管理，利用Stream进行消息传递：异步调用通过XADD发送消息，XACK确认处理；同步调用结合键空间通知机制实现结果等待。框架支持消息查询跟踪，建议开启AOF持久化并使用事务保证操作一致性。该方案可作为轻量级消息队列替代方案，具有实现简单、易于扩展等优点。
2025-12-07 14:29:55
701
原创 文件存储CubeFS集群部署实录
本文详细记录了CubeFS分布式文件存储系统的部署过程。首先介绍了CubeFS作为优秀开源存储项目的优势，然后详细说明了测试环境配置（3节点CentOS 7.9虚拟机）。部署步骤包括：1）编译CubeFS主程序和Dashboard；2）准备Consul和MySQL服务；3）配置并启动Master、MetaNode和DataNode服务；4）命令行测试验证；5）Dashboard部署配置。文章提供了各服务的详细配置文件示例，并特别指出Dashboard密码加密等注意事项。通过完整记录部署流程，为读者提供了可参
2025-11-24 16:21:04
792
原创 Ceph V20.2.0 (Tentacle) 稳定版本发布
Ceph发布第20个稳定版本V20.2.0，带来多项重要更新：CephFS支持目录大小写不敏感配置；Crimson-OSD引入SeaStore技术预览；Dashboard增强多集群管理和OAuth2.0集成；新增SMB管理器模块实现自动共享配置；RADOS改进FastEC性能和BlueStore压缩算法；RBD支持实时迁移和命名空间重映射；RGW强化S3 API和IAM功能；Cephadm提供统一TLS入口和证书管理功能。该版本标志着Ceph向新一代存储架构演进的重要一步。
2025-11-21 17:59:50
568
原创 OpenStack 在线扩容卷超时问题
摘要：OpenStack系统中ARM主机的麒麟V10系统在云硬盘扩容时出现multipath resize命令超时问题。分析发现该问题发生在Nova节点调用os-brick扩容本地磁盘的第三步，启用multipath后调用multipathd命令时，由于ARM环境下设备较多导致异步命令multipathd reconfigure耗时过长，致使后续resize命令阻塞超时（默认4秒超时）。解决方案包括增加重试机制和将multipath配置中的uxsock_timeout参数从默认4秒调整为10秒。
2025-11-12 17:35:59
437
原创 磁盘的克隆与迁移
本文介绍了磁盘克隆和迁移的两种主要方法：1）磁盘克隆通过dd命令将磁盘导出为镜像文件（raw或qcow2格式），再导入目标磁盘；2）磁盘迁移使用DD+NC工具组实现网络数据传输，或采用cloud-motion工具进行分片迁移。两种方法都需注意磁盘容量匹配，大型迁移建议后台运行。文章还提供了具体操作命令和注意事项，并指出传统NC方法在网络稳定性方面的不足，推荐使用支持分片重试、加密的新工具cloud-motion。
2025-10-30 16:43:37
467
1
原创 大模型概念总结
本文介绍了大模型部署与应用的关键环节。首先概述了开源大模型平台(HuggingFace/ModelScope)和模型分类，重点讲解了模型量化与蒸馏技术。随后详细分析了大模型基础设施(OS/虚拟机/容器)和推理引擎(vLLM/Ollama等)的核心功能，包括提速优化、资源管理、兼容性适配等。接着介绍了大模型微调框架的分类选型，以及智能体开发平台的对比(Coze/Dify等)。文章系统性地梳理了大模型从部署到应用的完整技术栈，为开发者提供了实践指导。
2025-10-12 21:04:37
690
原创 公有云IaaS的产品窥探-计算篇
主流公有云计算产品分析 当前国内公有云市场格局稳定，阿里云、华为云等五家占据70%份额。主流计算产品包括： 标准云服务器：支持全业务场景，接近物理机性能，超分比1:2-1:4； 轻量云服务器：性价比较高，适用于中低负载，超分比达1:4-1:6； 弹性容器：采用安全容器技术，秒级启动，隔离性接近虚拟机； 函数计算：事件驱动，按次计费，底层采用安全容器技术。 值得注意的是，轻量服务器和安全容器已成为重要组成部分，且多数Hypervisor采用Rust语言开发。
2025-09-08 22:06:44
962
1
原创 底层设计的重要原则-简单和幂等
本文探讨了技术系统设计中的KISS原则(保持简单)和幂等性原则。通过三个苹果搬运方案对比，说明简单性体现为减少参与实体和协调成本，幂等性则要求操作可重复、状态清晰。最佳设计应在简单性、幂等性、性能与成本间取得平衡。科技发展的本质就是不断简化复杂系统，而系统稳定性则依赖于幂等设计。技术人员应将这些原则作为设计核心，构建更优雅可靠的技术系统。
2025-08-31 18:19:53
757
原创 从简单拷贝看TOB产品设计
【摘要】某银行存储系统升级项目中，98台节点升级包传输耗时90分钟，暴露串行传输效率瓶颈。经复盘提出两大优化方向：1）精简升级包，按系统类型按需分发；2）采用并发传输方案（链式分发/P2P/多播）。最终制定三阶段策略：短期精简包体、中期部署链式分发、远期研发P2P框架。文章反思B端产品受历史包袱制约的困境，强调产品设计应遵循KISS原则，避免过度追求通用性而增加维护成本。三种传输方案各具优劣，需根据场景平衡效率与实现复杂度。
2025-08-27 21:41:19
579
原创 五分钟完成离线部署OpenStack
本文介绍了一种基于OpenEuler2203LTS系统的OpenStack一键离线部署方案。该方案采用Python-Venv环境，结合容器化代码隔离技术，可在5分钟内完成All-in-One节点部署。
2025-08-14 10:53:20
331
原创 浅谈OpenStack服务最佳部署形态
直接以DEB、RPM等的安装包，将服务安装部署于根OS系统之上，够简单，够稳定。另外对于操作系统更换有很大成本，这一点在商业产品上，很难满足客户需求，产品的兼容性不够。容器化甚至K8s管理平台的引入，会让系统变得复杂，解决问题的成本成倍增加。这些有状态的服务，涉及大量对于系统软硬件的调用，比如对计算内存调用，对LUN磁盘设备的调用，对命名空间的调用，网卡的虚拟化调用，、multipath多路径的调用等等，这对于容器化是不擅长的。既有裸系统安装部署的简单、性能，又兼有容器化的代码隔离，可以轻松更换操作系统。
2025-05-08 10:44:28
416
原创 云迁移产品实践III
一个标准迁移任务标准任务由一组 commands 指令集（或者说一组子任务）。任务按照指令-1，指令-2，指令-3 等的顺序依次串行执行出队，直到迁移任务完成。先写到这吧，东西有点多，后面计划分享一些异常、性能、以及产品第四阶段的特性设计。云主机迁移平台的任务与子任务（指令）的产品与技术介绍，相关的技术原理为Linux场景为主。当用户确认一个标准迁移任务就绪（Ready）时候，此时可以开始迁移任务。一个任务的详细示例，大概如下所述。选择源端主机创建迁移任务。
2025-02-08 11:37:27
461
原创 云主机迁移产品实践II
对于Linux 磁盘IO流程，所有的块IO都需要经过通用块层（Block Layer）处理，这一层主要实现BIO调度逻辑，比如将一个大BIO请求拆分为多个小的BIO请求，将相邻的BIO请求合并，实现各种BIO调度等。这样做的目的，不仅可以监控发送进度，而且不过多占用源端主机硬件资源，实现基于去重，压缩方式的可控发送。自定义 Bitmap 是记录磁盘数据变化的位图信息，如下图所示，2 号和 6 号分片数据发生变化，那么此时磁盘的 Bitmap 可以示意为 010001。使用简单，功能全面，开销较小。
2025-02-07 16:41:58
1315
原创 云主机迁移产品实践I
归纳总结下，该需求就是实际的主机迁移的产品或服务。主机迁移是一种 P2V/V2V 迁移服务。需要将物理服务器或者私有云、公有云平台上的虚拟机在线迁移到本系统的弹性云服务器上。大道至简，将要做的事情最核心的内容，做最简化的模型处理。大部分看起来庞大、复杂的项目的评估需要抓住核心需求，抽出最小化的模型（实验模型）。通过最小化模型的分析，可大概对核心方案、工作量、需求拆分等有初步认识。作为开发人员，不要上来就做拒绝或接受的操作。好的，了解完需求，很多人脑中会有非常多的疑惑了。
2025-02-07 11:28:46
359
原创 Linux文件、块设备实时同步（备份）技术介绍
Inotify是Linux中用于监控文件系统变化的API，自Linux 2.6.13开始集成到Linux内核中，该API可以实现近似实时地监控目录或文件发生的变化。和文件系统一样，Linux提供了块设备块BIO的事件监听，Blktrace就是Linux 下对块IO监控的工具，常用于分析块设备读写性能问题。需要注意的是，块级别同步仅能保证落盘的数据同步。）处理，这一层主要实现BIO调度逻辑，比如将一个大BIO请求拆分为多个小的BIO请求，将相邻的BIO请求合并，实现各种BIO调度等。
2024-11-04 15:19:47
1736
原创 分布式文件系统项目一览
简单、轻量、通用、完备、云原生是其特点，目前在github星标数已经超过10K，其官网看到有多家知名公司已经使用了JuiceFS的商业产品。HDFS是应用于Hadoop项目的分布式文件系统，是GFS（Google File System，简称GFS）的一个开源实现，由雅虎开发并开源。很重要的一点是，HDFS其不支持标准的POSIX接口，仅支持私有接口，导致其应通用性受限。它由SUSE公司开发，通过将多个普通硬盘或存储设备组合在一起，提供了一个统一的命名空间，支持跨多个服务器的文件共享。
2024-10-21 18:09:45
1819
原创 关于Linux shell的简单分享
前两天看到有人分享说，谷歌程序员至少要会3种语言，这要求倒也不过分。一个强类型、一个弱类型，一个工具型语言，刚好三个。高级的语言，因为有严格的语法检查和编译器给你把关，因此显得倒也问题不大。反而是越容易的、越解释型的语言，对于编码者本身要求很高。在安装、部署、扩容、升级等重要场景中，Bash的方便性不言而喻。但我始终提醒大家，对代码保持敬畏，无论是Rust还是Shell。实践中，FileName可以作为简单配置文件，配置公共变量，比如。推荐更多使用双中括号[[，具体可以去查询用法，就到这了。
2024-10-16 16:53:23
443
原创 分布式块存储项目一览
随着云计算的发展，传统的SAN开始逐渐没落。分布式块存储作为云计算IaaS的核心部件，尤为重要。下面为大家简单梳理部分布式块存储的项目。作为云计算的IaaS基石，存储可以说是最核心的部分。公有云的后面是一个可靠庞大的研发运维团队，可以选择开源存储产品或者自研存储系统。然而对于私有云来说，选择变得艰难。Ceph 过于复杂，Curve热度不够，Longhorn是为容器场景而生，ZBS是闭源项目。我想这也就是为什么很多私有云还用着SAN存储的原因所在。
2024-10-13 17:41:04
2237
原创 LVM引起的云计算OpenStack重大故障
在云计算或者OpenStack的集群，如果存储方面是通过FC或ISCSI协议访问块存储，那么/etc/lvm/lvm.conf 的配置可能会产生隐患，问题表现报错可能是块设备被占用 map in use的错误。lsof 根本无法探测到占用的进程或用户。简单来说，如果宿主机系统的LVM配置是默认配置，并且云镜像的根分区通过LVM构建，那么使用FC或ISCSI发放的虚拟就可能产生如下问题卷卸载不掉计算节点宿主机启动进入虚拟机的系统、或无法启动。
2024-10-12 17:07:31
911
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人