super的博客

ceph对象池详解

Ceph 的放置组（PG）是数据分布的核心逻辑单元，负责将对象映射到物理存储设备（OSD），同时管理数据冗余、负载均衡和故障恢复。PG 作为中间层，通过 CRUSH 算法降低计算复杂度，并均衡数据分布。每个 PG 由唯一标识符、OSD 列表和状态等组成，状态包括 active、clean、recovering 等。PG 数量需合理计算，过多或过少均影响性能。运维操作包括查看 PG 状态、修复问题 PG 和调整分布。最佳实践包括合理设置 PG 数量、监控状态和隔离热点池。PG 是 Ceph 高效管理数据的关键

摘要： Ceph中的pg_num和pgp_num是存储池关键参数，二者职责不同但通常设为相同值。pg_num决定逻辑分片(PG)总数，影响数据写入和分布粒度，修改会触发数据迁移；pgp_num限定CRUSH算法计算时的可用PG范围，仅影响新数据分布。最佳实践是保持二者一致以确保数据均匀分布，例外场景可临时调整pgp_num优化性能。调整pg_num需谨慎，因其会导致数据重平衡，而修改pgp_num仅影响新写入数据。通过ceph osd pool命令可监控和修改参数，生产环境建议通过公式计算合理PG数量。

Ceph的CRUSH算法是一种去中心化的数据分布机制，通过伪随机计算实现对象在OSD上的智能放置。核心流程包括对象到PG的哈希映射，以及PG到OSD的CRUSH计算，综合考虑权重、故障域和放置规则。算法采用层级化拓扑结构（OSD→主机→机架）和Straw2选择机制，确保数据均匀分布、负载均衡和容灾能力。CRUSH支持动态扩展，新增OSD时数据迁移量最小化，同时允许自定义放置规则优化存储策略。该设计使Ceph能够实现高效、弹性的分布式存储管理。

摘要：Ceph支持多副本(Replication)和纠删码(Erasure Coding)两种数据冗余机制。副本模式通过3副本保障数据可靠性，写入需主OSD同步到副本OSD，恢复速度快但空间利用率低。纠删码将数据分为k个数据块和m个校验块，空间效率高但恢复需计算，适合冷数据存储。两者在性能、空间利用和适用场景上各有优劣，副本适合高性能业务，纠删码适合归档场景。Ceph通过CRUSH算法控制数据分布，支持故障恢复和一致性保证，可根据业务需求选择合适机制或混合部署。

Ceph FileStore存储引擎将对象数据以文件形式存储在本地文件系统上，通过日志机制保证数据一致性。其核心架构包括Journal日志、ObjectMap对象映射和底层文件系统三个关键组件，采用"先写日志再写数据"的写入流程。文章详细介绍了FileStore的数据组织方式、性能优化方法，并与BlueStore进行了对比分析，包括日志配置、并发调优等具体参数设置。虽然FileStore已被BlueStore取代，但理解其工作机制对掌握Ceph存储原理仍有重要意义，文中还提供了典型问题的

摘要： BlueStore 是 Ceph 的高性能存储引擎，直接管理裸设备，绕过文件系统，优化 SSD/NVMe 性能。其核心包括 RocksDB（元数据）、WAL（预写日志）和直接数据写入，支持压缩、校验和高效空间管理。相比 FileStore，BlueStore 减少写入放大，提升吞吐，适合元数据密集型场景。生产建议分离 WAL/RocksDB 到高速设备，并启用压缩（Zstd/LZ4）。运维可通过 ceph-bluestore-tool 管理，监控关键指标优化性能。作为 Ceph 的默认后端，Blue

虚拟机Ceph集群部署摘要 本指南详细阐述了在虚拟机环境下部署Ceph集群的完整流程，包含Dashboard和Prometheus监控集成。部署方案支持3节点最小配置或6节点扩展架构，提供两种节点规划模板。环境准备包括主机名解析、SELinux/防火墙配置、NTP时间同步和专用用户创建。关键步骤涉及管理节点SSH免密登录设置、Ceph部署工具安装（需特殊处理已停维护的ceph-deploy工具），以及初始化集群配置。后续操作涵盖Monitor节点部署、OSD存储添加、集群扩展和监控组件集成，为学习者提供完整

本文介绍了使用ceph-deploy工具安装和配置Ceph RADOS Gateway(RGW)的完整步骤。主要内容包括：RGW服务安装方法、默认配置验证、S3用户创建与测试访问，以及高级配置如修改监听端口和启用HTTPS。文档还提供了常见问题解决方法，并整理了s3cmd常用命令集，涵盖存储桶管理、文件操作、权限设置等实用功能。通过本指南，用户可以快速部署Ceph对象存储服务并掌握基本管理操作。