小毕超博客

CephFS是 Ceph 中基于RADOS（可扩展分布式对象存储）构建，通过将文件数据划分为对象并分布到集群中的多个存储节点上来实现高可用性和可扩展性。

Ceph RBD（Rados Block Device）是 Ceph 存储集群中的一个重要组件，它提供了块级别的存储访问。RBD 允许用户创建虚拟块设备，并将其映射到客户端系统中，就像本地磁盘一样使用。

在当今数据爆炸式增长的时代，企业对于可靠、可扩展的存储解决方案的需求日益迫切。Ceph 作为一种开源的、可伸缩的分布式存储解决方案，正逐渐成为企业级存储领域的热门选择。Ceph是一种由Radicalbit公司开发的开源分布式存储系统，它通过将数据分布在一个或多个存储节点上，实现了高可靠性、高性能和高扩展性。

GlusterFS 是一个开源的分布式文件系统，旨在提供高性能、可扩展性和可靠性，适用于现代数据中心和云环境。它以横向扩展的方式设计，可以在多台服务器之间共享文件系统，为应用程序提供统一的文件存储服务。

`Apache Kudu`是一种列式分布式存储引擎，它的设计目标是支持快速分析和高吞吐量的数据访问，同时也能够支持低延迟、实时查询和更新操作。它被称为`Hadoop`生态系统的新一代存储层，能够与`Apache Spark、Apache Impala、Apache Hive`等大数据处理框架集成使用。

基于 K8s 安装 Apache Kudu 集群

数据冷热特征，比如最近几天的数据才需要修改，老的冷数据很少需要修改，比如订单数据，老的订单完成后就不在更新，并且分区是按天进行分区的，那么在导入数据时历史分区的数据的主键就不会被加载，也就不会占用内存了，内存中仅会加载近几天的索引。字节，其内容为数据块中第一行数据的排序列组成的前缀，在查找前缀索引表时可以帮助确定该行数据所在逻辑数据块的起始行号。需要注意的是：由于存储引擎会为主键建立索引，导入数据时会把索引加载到内存中，所以主键模型对内存的要求更高，所以不适合主键模型的场景还是比较多的。

下载后上传至其中一台服务器中，这里我上传至。注意：如果电脑有多个网卡，可以通过修改。进行了快速体验，本篇文章进行。，因此确保安装前已经安装好。进行了简单的介绍及使用。下，分别启动三台服务的。回到解压位置，将改好的。节点，进入到解压目录的。

StarRocks是一款高性能分析型数据仓库，使用向量化、MPP架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。既支持从各类实时和离线的数据源高效导入数据，也支持直接分析数据湖上各种格式的数据。兼容MySQL协议，可使用MySQL客户端和常用BI工具对接。同时StarRocks具备水平扩展，高可用、高可靠、易运维等特性。广泛应用于实时数仓、OLAP报表、数据湖分析等场景。充分吸收关系型OLAP。

是一个高性能的对象存储原生支持 部署的解决方案。 提供了一个 兼容 并支持所有核心 功能。 对象存储使用 来组织对象。 存储桶类似于文件系统中的文件夹或目录，其中每个 桶可以容纳任意数量的对象。 存储桶提供 与 存储桶相同的功能。其中 的优势有：高性能：是全球领先的对象存储先锋，在标准硬件上，读/写速度上高达 和 。可扩展性：利用了缩放器的来之不易的知识，为对象存储带来了简单的存储缩放模型， 在 , 扩展从单个群集开始，该群集可以与其他群集联合以创建全局名称空间, 并在需要时可以跨越多个不

一、OSS Policy 模式Post policy 是阿里推出的一种安全的文件上传方式，在传统的方式一般都是客户端将文件上传至服务端，再由服务端将文件上传至具体的文件系统比如阿里云的OSS，这种方式不仅增加了我们服务器的带宽，而且效率也不怎么高，为此阿里提出的policy 模式，是由服务端进行签名，客户端拿到签名后的 policy 直连阿里云的OSS进行上传文件，并且阿里也提供了上传后的回调方案。流程如下图所示：用户要上传一个文件到OSS，而且希望将上传的结果返回给应用服务器时，需要设置一个回调函

一、FastDfs在本专栏的，其他文章中，我有写过在Docker环境下搭建FastDfs的集群方案，但现在由于某些原因，需要在CenterOS系统直接部署集群，搭建方式也相差不大，也在此记录下搭建的过程。FastDFS 是一个开源高性能分布式文件系统。它的主要功能包括：文件存储，文件同步和文件访问（文件上传和文件下载），它可以解决高容量和负载平衡问题。FastDFS 应满足基于照片共享网站和视频共享网站等文件的网站的要求。FastDFS 有两个角色：跟踪器和存储。跟踪器负责文件访问的调度和负载平衡。存

一、TICDC在上篇文章中，我们介绍了使用TICDC 将数据同步至 Mysql 中，从上个任务就可以看出，TiCDC相比于Tidb binlog 在配制上就简化了很多，而且我们也知道TICDC的性能也是优于 tidb binlog的，今天我们学习下使用TiCDC怎么将数据同步至下游Kafka中，以实现TIDB 到 ES、MongoDB、Redis等 NoSql 数据库的同步。上篇博客地址：https://blog.youkuaiyun.com/qq_43692950/article/details/121731

一、TICDCTiCDC 是一款通过拉取 TiKV 变更日志实现的 TiDB 增量数据同步工具，具有将数据还原到与上游任意 TSO 一致状态的能力，同时提供开放数据协议 (TiCDC Open Protocol)，支持其他系统订阅数据变更。和前面学习的Tidb binlog 不同，binlog 是直接取的tidb-server 的日志信息，而TiCDC则是取的 Tikv 的，相比性能更优，但TiCDC 只有数据修改时会触发同步，不包括ddl，所以说使用TICDC，必须保证两端的数据结构一致。TiCDC

一、TiDB Binlog在上篇文章中我们介绍了使用TiDB Binlog将数据同步至下游的Mysql 中，本篇我们学习下使用TiDB Binlog工具将数据同步至Kafka中自定义业务逻辑，比如可以做TIDB和ES、MongoDB 或 Redis的数据同步，这功能就和Canal解析Mysql的binlog功能相差不大。如果还不了解TiDB Binlog工具的也可以参考我的上篇博客：https://blog.youkuaiyun.com/qq_43692950/article/details/121597230

一、TiDB Binlog简介TiDB Binlog 是一个用于收集 TiDB 的 binlog，并提供准实时备份和同步功能的工具，可以理解为Mysql 的 Binlog 主从服务模式，并且TiDB Binlog还支持将数据发送到Kafka中，这又类似与Canal中间件。目前TIDB Binlog集群主要分为 Pump 和 Drainer 两个组件，以及 binlogctl 工具。TiDB Binlog 整体架构注意：TiDB Binlog 与 TiDB v5.0 版本开始引入的一些特性不兼容，无

一、BR工具BR 全称为 Backup & Restore，是 TiDB 分布式备份恢复的命令行工具，用于对 TiDB 集群进行数据备份和恢复。BR 只支持在 TiDB v3.1 及以上版本使用。在前面的章节中，我们介绍了dumpling将数据导出的方式，也可以作为一种备份的方式，并且导出的数据是极为可读的sql文件，并且也可以将数据导入Mysql中，但是在买对大数据量下快速的全量备份的场景在使用dumpling导成sql文件就显得效率低下了，并且会降低TIDB的读写的QPS。同样BR工具就不同

一、TIDB 中的权限TiDB 的权限管理是按照 MySQL 的权限管理来进行实现的，所以说我们完全可以将MySQL中的那一套拿来到TIDB中，是完全适用的。TiDB 将用户账户存储在 mysql.user 系统表里面。每个账户由用户名和 host 作为标识。每个账户可以设置一个密码。下面我们针对TIDB数据库来演示下用户角色权限的配置。注意以下所有操作均在TIDB数据库中进行。二、用户管理1. 创建新用户，并指定用户的登录ip和密码create user 'bxc' identified b

一、TIUP工具前面介绍了使用TIUP搭建TIDB集群，本篇文章详细介绍下TIUP的功能。TiUP 是 TiDB 4.0 版本引入的集群运维工具，TiUP cluster 是 TiUP 提供的使用 Golang 编写的集群管理组件，通过 TiUP cluster 组件就可以进行日常的运维工作，包括部署、启动、关闭、销毁、弹性扩缩容、升级 TiDB 集群，以及管理 TiDB 集群参数。目前 TiUP 可以支持部署 TiDB、TiFlash、TiDB Binlog、TiCDC，以及监控系统。本文将介绍不同

一、TIUP简介前面介绍了单机版本的环境搭建以及如何在docker中搭建环境，前面就讲到官方建议使用TiUP来搭建管理整个集群环境，下面我们来体验下。TiUP 是 TiDB 4.0 版本引入的集群运维工具，TiUP cluster 是 TiUP 提供的使用 Golang 编写的集群管理组件，通过 TiUP cluster 组件就可以进行日常的运维工作，包括部署、启动、关闭、销毁、弹性扩缩容、升级 TiDB 集群，以及管理 TiDB 集群参数。目前 TiUP 可以支持部署 TiDB、TiFlash、Ti

一、TiDB Lightning介绍TiDB Lightning 是一个将全量数据高速导入到 TiDB 集群的工具，目前支持 Mydumper 或 CSV 输出格式的数据源。你可以在以下两种场景下使用 Lightning：迅速导入大量新数据。备份恢复所有数据。TiDB Lightning 主要包含两个部分:tidb-lightning（“前端”）：主要完成适配工作，通过读取数据源，在下游 TiDB 集群建表、将数据转换成键/值对 (KV 对) 发送到 tikv-importer、检查数据完整性等

一、TIDBTIDB的介绍已经在我上篇博客中介绍了，并且介绍了单机版的TIDB安装。TIDB-分布式关系型数据库讲解 https://blog.youkuaiyun.com/qq_43692950/article/details/121304249本文继续就TIDB的部署进行讲解，当然官方的文档也写的比较详细，小伙伴也可以看下文档中的讲解：官方文档，快速上手指南：https://docs.pingcap.com/zh/tidb/v4.0/quick-start-with-tidb并且在新的文档中已经

一、传统关系型数据库所面临的问题根据以往的MySQL使用经验，MySQL单表在 5000 万行以内时，性能较好，单表超过5000万行后，数据库性能、可维护性都会极剧下降。当然这时候可以做MySQL分库分表,比如使用Mycat或Sharding-jdbc。但是分库后必定产生分布式事务问题，一旦数据库服务器宕机，有事务不一致风险。分表后，对 SQL 语句有一定限制，对业务方功能需求大打折扣。尤其对于实时报表统计类需求，限制非常之大。并且需要维护的对象呈指数增长（MySQL实例数、需要执行的 SQL 变更数

一、 MongoDB关于MongoDB的介绍和基本操作及副本集群搭建可先参考下面我的博客：MongoDB副本集 集群搭建：https://blog.youkuaiyun.com/qq_43692950/article/details/114807506MongoDB基本使用https://blog.youkuaiyun.com/qq_43692950/article/details/114805906二、 SpringBoot 操作MongoDB引入pom依赖<dependency>

MongoDB副本集、分片集群搭建一、MongoDB副本集副本集类似于有自动故障恢复功能的主从集群。通俗的讲就是用多台机器进行同一数据的异步同步，从而使多台机器拥有同一数据的多个副本，并且当主库当掉时在不需要用户干预的情况下自动切换其他备份服务器做主库。而且还可以利用副本服务器做只读服务器，实现读写分离，提高负载。副本集的两种类型：主节点（Primary）类型：数据操作的主要连接点，可读写。次要（辅助、从）节点（Secondaries）类型：数据冗余备份节点，可以读或选举。三种角色：主

分布式存储数据库MongoDb使用一、MongoDbMongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。它支持的数据结构非常松散，是类似json的bson格式，因此可以存储比较复杂的数据类型。Mongo最大的特点是它支持的查询语言非常强大，其语法有点类似于面向对象的查询语言，几乎可以实现类似关系数据库单表查询的绝大部分功能，而且还支持对数据建立索引。二、MongoDb的特点高性能、易部署、易使用，存储数据非常方便。主要功能特性有：面向集合存储

FastDfs分布式文件系统集群搭建及Java客户端使用一、FastDfs介绍FastDFS 是一个开源高性能分布式文件系统。它的主要功能包括：文件存储，文件同步和文件访问（文件上传和文件下载），它可以解决高容量和负载平衡问题。FastDFS 应满足基于照片共享网站和视频共享网站等文件的网站的要求。FastDFS 有两个角色：跟踪器和存储。跟踪器负责文件访问的调度和负载平衡。存储存储文件及其功能是文件管理，包括：文件存储、文件同步、提供文件访问接口。它还管理元数据，这些元数据是表示为文件的键值对的属性