TBase集群安装配置

最新推荐文章于 2024-12-19 17:04:22 发布
原创 最新推荐文章于 2024-12-19 17:04:22 发布 · 1.6k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

TBase是一款提供写可靠性及多主节点数据同步的关系数据库集群平台。它采用无共享模式的分布式架构，支持简单x86服务器部署。本文档详细介绍了TBase集群的搭建过程，包括环境配置、源码获取、编译安装及集群规划。

什么是TBase（来自https://www.bookstack.cn/read/TBase/196700）

TBase是一个提供写可靠性，多主节点数据同步的关系数据库集群平台。你可以将TBase配置一台或者多台主机上，TBase数据存储在多台物理主机上面。数据表的存储有两种方式， 分别是distributed或者replicated ，当向TBase发送查询 SQL时，TBase会自动向数据节点发出查询语句并获取最终结果。

TBase采用分布式集群架构（如下图）， 该架构分布式为无共享(share nothing)模式，节点之间相应独立，各自处理自己的数据，处理后的结果可能向上层汇总或在节点间流转，各处理单元之间通过网络协议进行通信，并行处理和扩展能力更好，这也意味着只需要简单的x86服务器就可以部署TBase数据库集群

TBase的三大模块

  • Coordinator：协调节点（简称CN）

业务访问入口，负责数据的分发和查询规划，多个节点位置对等，每个节点都提供相同的数据库视图；在功能上CN上只存储系统的全局元数据，并不存储实际的业务数据。

  • Datanode：数据节点（简称DN）

每个节点还存储业务数据的分片在功能上，DN节点负责完成执行协调节点分发的执行请求。

  • GTM:全局事务管理器(Global Transaction Manager)

负责管理集群事务信息，同时管理集群的全局对象，比如序列等。

 

TBase集群环境的搭建。

安装环境：centos 7.4 
内存：6g（至少4g）
参考文章：https://github.com/Tencent/TBase/wiki/1%E3%80%81TBase_Quick_Start

提前配置事项
防火墙与selinux配置
关闭seLinux：setenforce 0
设置selinu开机不启动：
vi /etc/sysconfig/selinux 
将其中的SELINUX= XXXXXX修改为SELINUX=disabled
关闭防火墙：systemctl stop firewalld
禁止防火墙开机自启：systemctl disable firewalld

1.源码获取

git clone https://github.com/Tencent/TBase


2.创建目录和用户

#集群所有机器都需要配置
mkdir /data
mkdir -p /data/tbase/data/gtm
mkdir -p /data/tbase/data/coord
mkdir -p /data/tbase/data/dn001
mkdir -p /data/tbase/data/dn002
mkdir -p /data/tbase/TBase-master
mkdir -p /data/tbase/install

useradd -d /data/tbase tbase
#设密码
passwd tbase

3.源码编译

export SOURCECODE_PATH=/data/tbase/TBase-master
export INSTALL_PATH=/data/tbase/install

cd ${SOURCECODE_PATH}
rm -rf ${INSTALL_PATH}/tbase_bin_v2.0
chmod +x configure*
./configure --prefix=${INSTALL_PATH}/tbase_bin_v2.0  --enable-user-switch --with-openssl  --with-ossp-uuid CFLAGS=-g
make clean
make -sj
make install
chmod +x contrib/pgxc_ctl/make_signature
cd contrib
make -sj
make install

4.集群规划

下面以两台服务器上搭建1GTM主，1GTM备，2CN主（CN主之间对等，因此无需备CN），2DN主，2DN备的集群，该集群为具备容灾能力的最小配置
机器1：192.168.199.240
机器2：192.168.199.241

集群规划如下:

节点名称   IP    数据目录
GTM master 192.168.199.240 /data/tbase/data/gtm
GTM slave 192.168.199.241 /data/tbase/data/gtm
CN1  192.168.199.240 /data/tbase/data/coord
CN2 192.168.199.241 /data/tbase/data/coord
DN1 master 192.168.199.240  /data/tbase/data/dn001
DN1 slave 192.168.199.241  /data/tbase/data/dn001
DN2 master 192.168.199.240  /data/tbase/data/dn002
DN2 slave 192.168.199.241 /data/tbase/data/dn002


                    
           
            
          
            

 

 

 

 

 

5.机器互信

# 240
su tbase
ssh-keygen -t rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub tbase@192.168.199.241
# 241
su tbase
ssh-keygen -t rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub tbase@192.168.199.240

6.设置环境变量

#集群所有机器都需要配置
[tbase@node1 ~]$ vim ~/.bashrc
export TBASE_HOME=/data/tbase/install/tbase_bin_v2.0
export PATH=$TBASE_HOME/bin:$PATH
export LD_LIBRARY_PATH=$TBASE_HOME/lib:${LD_LIBRARY_PATH}

7.初始化集群

[tbase@node1 etc]$ mkdir /data/tbase/pgxc_ctl
[tbase@node1 etc]$ cd /data/tbase/pgxc_ctl
[tbase@node1 pgxc_ctl]$ ll
total 0
[tbase@node1 pgxc_ctl]$ vim pgxc_ctl.conf

#!/bin/bash
pgxcInstallDir=/data/tbase/install/tbase_bin_v2.0
pgxcOwner=tbase
defaultDatabase=postgres
pgxcUser=$pgxcOwner
tmpDir=/tmp
localTmpDir=$tmpDir
configBackup=n
configBackupHost=pgxc-linker
configBackupDir=$HOME/pgxc
configBackupFile=pgxc_ctl.bak


#---- GTM ----------
gtmName=gtm
gtmMasterServer=192.168.199.240
gtmMasterPort=50001
gtmMasterDir=/data/tbase/data/gtm
gtmExtraConfig=none
gtmMasterSpecificExtraConfig=none
gtmSlave=y
gtmSlaveServer=192.168.199.241
gtmSlavePort=50001
gtmSlaveDir=/data/tbase/data/gtm
gtmSlaveSpecificExtraConfig=none

#---- Coordinators -------
coordMasterDir=/data/tbase/data/coord
coordArchLogDir=/data/tbase/data/coord_archlog

coordNames=(cn001 cn002 )
coordPorts=(30004 30004 )
poolerPorts=(31110 31110 )
coordPgHbaEntries=(0.0.0.0/0)
coordMasterServers=(192.168.199.240 192.168.199.241)
coordMasterDirs=($coordMasterDir $coordMasterDir)
coordMaxWALsernder=2
coordMaxWALSenders=($coordMaxWALsernder $coordMaxWALsernder )
coordSlave=n
coordSlaveSync=n
coordArchLogDirs=($coordArchLogDir $coordArchLogDir)

coordExtraConfig=coordExtraConfig
cat > $coordExtraConfig <<EOF
#================================================
# Added to all the coordinator postgresql.conf
# Original: $coordExtraConfig

include_if_exists = '/data/tbase/global/global_tbase.conf'

wal_level = replica
wal_keep_segments = 256 
max_wal_senders = 4
archive_mode = on 
archive_timeout = 1800 
archive_command = 'echo 0' 
log_truncate_on_rotation = on 
log_filename = 'postgresql-%M.log' 
log_rotation_age = 4h 
log_rotation_size = 100MB
hot_standby = on 
wal_sender_timeout = 30min 
wal_receiver_timeout = 30min 
shared_buffers = 1024MB 
max_pool_size = 2000
log_statement = 'ddl'
log_destination = 'csvlog'
logging_collector = on
log_directory = 'pg_log'
listen_addresses = '*'
max_connections = 2000

EOF

coordSpecificExtraConfig=(none none)
coordExtraPgHba=coordExtraPgHba
cat > $coordExtraPgHba <<EOF

local   all             all                                     trust
host    all             all             0.0.0.0/0               trust
host    replication     all             0.0.0.0/0               trust
host    all             all             ::1/128                 trust
host    replication     all             ::1/128                 trust


EOF


coordSpecificExtraPgHba=(none none)
coordAdditionalSlaves=n    
cad1_Sync=n

#---- Datanodes ---------------------
dn1MstrDir=/data/tbase/data/dn001
dn2MstrDir=/data/tbase/data/dn002
dn1SlvDir=/data/tbase/data/dn001
dn2SlvDir=/data/tbase/data/dn002
dn1ALDir=/data/tbase/data/datanode_archlog
dn2ALDir=/data/tbase/data/datanode_archlog

primaryDatanode=dn001
datanodeNames=(dn001 dn002)
datanodePorts=(40004 40004)
datanodePoolerPorts=(41110 41110)
datanodePgHbaEntries=(0.0.0.0/0)
datanodeMasterServers=(192.168.199.240 192.168.199.241)
datanodeMasterDirs=($dn1MstrDir $dn2MstrDir)
dnWALSndr=4
datanodeMaxWALSenders=($dnWALSndr $dnWALSndr)

datanodeSlave=y
datanodeSlaveServers=(192.168.199.241 192.168.199.240)
datanodeSlavePorts=(50004 54004)
datanodeSlavePoolerPorts=(51110 51110)
datanodeSlaveSync=n
datanodeSlaveDirs=($dn1SlvDir $dn2SlvDir)
datanodeArchLogDirs=($dn1ALDir/dn001 $dn2ALDir/dn002)

datanodeExtraConfig=datanodeExtraConfig
cat > $datanodeExtraConfig <<EOF
#================================================
# Added to all the coordinator postgresql.conf
# Original: $datanodeExtraConfig

include_if_exists = '/data/tbase/global/global_tbase.conf'
listen_addresses = '*' 
wal_level = replica 
wal_keep_segments = 256 
max_wal_senders = 4
archive_mode = on 
archive_timeout = 1800 
archive_command = 'echo 0' 
log_directory = 'pg_log' 
logging_collector = on 
log_truncate_on_rotation = on 
log_filename = 'postgresql-%M.log' 
log_rotation_age = 4h 
log_rotation_size = 100MB
hot_standby = on 
wal_sender_timeout = 30min 
wal_receiver_timeout = 30min 
shared_buffers = 1024MB 
max_connections = 4000 
max_pool_size = 4000
log_statement = 'ddl'
log_destination = 'csvlog'
wal_buffers = 1GB

EOF

datanodeSpecificExtraConfig=(none none)
datanodeExtraPgHba=datanodeExtraPgHba
cat > $datanodeExtraPgHba <<EOF

local   all             all                                     trust
host    all             all             0.0.0.0/0               trust
host    replication     all             0.0.0.0/0               trust
host    all             all             ::1/128                 trust
host    replication     all             ::1/128                 trust


EOF

datanodeSpecificExtraPgHba=(none none)

datanodeAdditionalSlaves=n
walArchive=n

8.分发二进制包

#在一个节点配置好配置文件后，需要预先将二进制包部署到所有节点所在的机器上，这个可以使用pgxc_ctl工具，执行deploy all命令来完成。
[tbase@node1 etc]$ pgxc_ctl
/bin/bash
Installing pgxc_ctl_bash script as /data/tbase/pgxc_ctl/pgxc_ctl_bash.
Installing pgxc_ctl_bash script as /data/tbase/pgxc_ctl/pgxc_ctl_bash.
Reading configuration using /data/tbase/pgxc_ctl/pgxc_ctl_bash --home /data/tbase/pgxc_ctl --configuration /data/tbase/pgxc_ctl/pgxc_ctl.conf
Finished reading configuration.
   ******** PGXC_CTL START ***************

Current directory: /data/tbase/pgxc_ctl
PGXC deploy all
Deploying Postgres-XL components to all the target servers.
Prepare tarball to deploy ... 
Deploying to the server 192.168.199.240.
Deploying to the server 192.168.199.241.

登录到所有节点，check二进制包是否分发OK
[root@node2 install]# cd tbase_bin_v2.0/
[root@node2 tbase_bin_v2.0]# ll
total 12
drwxr-xr-x. 2 tbase tbase 4096 Nov 12  2020 bin
drwxr-xr-x. 4 tbase tbase 4096 Nov 12  2020 include
drwxr-xr-x. 4 tbase tbase 4096 Nov 12  2020 lib
drwxr-xr-x. 4 tbase tbase   35 Nov 12  2020 share
[root@node2 tbase_bin_v2.0]# pwd
/data/tbase/install/tbase_bin_v2.0

执行init all命令，完成集群初始化命令

[tbase@node1 pgxc_ctl]$ pgxc_ctl 
/bin/bash
Installing pgxc_ctl_bash script as /data/tbase/pgxc_ctl/pgxc_ctl_bash.
Installing pgxc_ctl_bash script as /data/tbase/pgxc_ctl/pgxc_ctl_bash.
Reading configuration using /data/tbase/pgxc_ctl/pgxc_ctl_bash --home /data/tbase/pgxc_ctl --configuration /data/tbase/pgxc_ctl/pgxc_ctl.conf
Finished reading configuration.
   ******** PGXC_CTL START ***************

Current directory: /data/tbase/pgxc_ctl
PGXC init all
Initialize GTM master
The files belonging to this GTM system will be owned by user "tbase".
This user must also own the server process.


fixing permissions on existing directory /data/tbase/data/gtm ... ok
creating configuration files ... ok
creating xlog dir ... ok

Success.
1:1958545216:2020-11-12 17:33:45.003 CST -LOG:  ControlData context:
LOCATION:  GTM_PrintControlData, gtm_xlog.c:2055
2:1958545216:2020-11-12 17:33:45.003 CST -LOG:  ControlData->gtm_control_version    = 20180716
LOCATION:  GTM_PrintControlData, gtm_xlog.c:2056
3:1958545216:2020-11-12 17:33:45.003 CST -LOG:  ControlData->xlog_seg_size          = 2097152
LOCATION:  GTM_PrintControlData, gtm_xlog.c:2057
4:1958545216:2020-11-12 17:33:45.003 CST -LOG:  ControlData->xlog_blcksz            = 4096
LOCATION:  GTM_PrintControlData, gtm_xlog.c:2058
5:1958545216:2020-11-12 17:33:45.003 CST -LOG:  ControlData->state                  = 1
LOCATION:  GTM_PrintControlData, gtm_xlog.c:2059
6:1958545216:2020-11-12 17:33:45.003 CST -LOG:  ControlData->CurrBytePos            = 4080
LOCATION:  GTM_PrintControlData, gtm_xlog.c:2060
7:1958545216:2020-11-12 17:33:45.003 CST -LOG:  ControlData->PrevBytePos            = 4080
LOCATION:  GTM_PrintControlData, gtm_xlog.c:2061
8:1958545216:2020-11-12 17:33:45.003 CST -LOG:  ControlData->thisTimeLineID         = 1
LOCATION:  GTM_PrintControlData, gtm_xlog.c:2062
9:1958545216:2020-11-12 17:33:45.003 CST -LOG:  ControlData->prevCheckPoint         = 0/0
LOCATION:  GTM_PrintControlData, gtm_xlog.c:2063
10:1958545216:2020-11-12 17:33:45.003 CST -LOG:  ControlData->checkPoint             = 0/1000
LOCATION:  GTM_PrintControlData, gtm_xlog.c:2064
11:1958545216:2020-11-12 17:33:45.003 CST -LOG:  ControlData->gts                    = 1000000000
LOCATION:  GTM_PrintControlData, gtm_xlog.c:2065
12:1958545216:2020-11-12 17:33:45.003 CST -LOG:  ControlData->time                   = 1605173624
LOCATION:  GTM_PrintControlData, gtm_xlog.c:2066
waiting for server to shut down....TBase create 1 worker thread.
Start sever loop start thread count 9 running thread count 9.
TBase GTM is ready to go!!
 done
server stopped
Done.
Start GTM master
server starting
1:15963968:2020-11-12 17:33:47.558 CST -LOG:  ControlData context:
LOCATION:  GTM_PrintControlData, gtm_xlog.c:2055
2:15963968:2020-11-12 17:33:47.558 CST -LOG:  ControlData->gtm_control_version    = 20180716
LOCATION:  GTM_PrintControlData, gtm_xlog.c:2056
3:15963968:2020-11-12 17:33:47.558 CST -LOG:  ControlData->xlog_seg_size          = 2097152
LOCATION:  GTM_PrintControlData, gtm_xlog.c:2057
4:15963968:2020-11-12 17:33:47.558 CST -LOG:  ControlData->xlog_blcksz            = 4096
LOCATION:  GTM_PrintControlData, gtm_xlog.c:2058
5:15963968:2020-11-12 17:33:47.558 CST -LOG:  ControlData->state                  = 1
LOCATION:  GTM_PrintControlData, gtm_xlog.c:2059
6:15963968:2020-11-12 17:33:47.558 CST -LOG:  ControlData->CurrBytePos            = 4178000
LOCATION:  GTM_PrintControlData, gtm_xlog.c:2060
7:15963968:2020-11-12 17:33:47.558 CST -LOG:  ControlData->PrevBytePos            = 4177920
LOCATION:  GTM_PrintControlData, gtm_xlog.c:2061
8:15963968:2020-11-12 17:33:47.558 CST -LOG:  ControlData->thisTimeLineID         = 1
LOCATION:  GTM_PrintControlData, gtm_xlog.c:2062
9:15963968:2020-11-12 17:33:47.558 CST -LOG:  ControlData->prevCheckPoint         = 0/200000
LOCATION:  GTM_PrintControlData, gtm_xlog.c:2063
10:15963968:2020-11-12 17:33:47.558 CST -LOG:  ControlData->checkPoint             = 0/400000
LOCATION:  GTM_PrintControlData, gtm_xlog.c:2064
最低0.47元/天 解锁文章
Docker TBase实战 Centos7+TBase-2.4
MrBlueSky的博客
04-14 1441
docker安装与使用。
TBase开源版V2.1.0 集群搭建部署完整版
aidream1239的博客
03-30 4178
一、公司有项目要用到TBase数据库集群，本来是我们组一个前辈搭好的，然后dn1和dn2总是没法同步，或者说是同步不完全（dn1建的表写入数据，dn2里会有不完整的表结构，但是没有其他的，后来找到原因是最大连接数的配置问题），一直找不到原因，项目经理大笔一挥，重新部署一套。然而我们组那个前辈去重保某个重要项目了，我赶鸭子上架，以前用都不会用，现在要两天内搭一套集群出来，还得带负载均衡。 其实说起来并不困难，主要是难在我经验过少，又是踩坑无数的学习过程，现在我搭的集群已经开始正常运行了，这篇文章拿来做个记录。
TBase 集群安装记录
04-11
国产数据库 Tbase 集群部署
TDSQL PG版部署(tbase单机版安装包)
09-14
TDSQL PG版部署(tbase单机版安装包)
腾讯云TBase分布式数据库安装部署
长期深耕于云计算、大数据、数据库领域！
09-28 1800
1、在腾讯云申请两台CVM虚机。 配置：4core 8gmem 配置：虚机SG安全组 2、修改主机名 hostnamectl set-hostname tbase1 hostnamectl set-hostname tbase2 vim /etc/hosts 172.17.0.11 tbase1 172.17.0.14 tbase2 3、下载安装包 wget https://tbase-4434423233434333.cos.ap-shanghai.myqcloud.co...
tbase单机版安装
03-10
5. **初始化配置**：在TBase的安装目录下，找到并运行初始化脚本，指定相关的配置参数，如数据存储路径、端口号等。 6. **启动服务**：执行启动脚本启动TBase的服务，包括数据库服务器、监控服务等。 7. **创建...
tbase单机版安装介质
02-28
**TBase 单机版安装指南** TBase是一款基于PostgreSQL的分布式数据库系统，它针对大规模数据处理进行了优化，提供高并发、高可用以及线性扩展能力。在单机环境中安装TBase，主要目的是为了测试、开发或者进行轻量级...
TBase集群部署指南：双机配置与权限设置
本文档详细记录了国产数据库TBase集群的安装过程，主要针对两台服务器192.168.128.206和192.168.128.200进行部署。以下是关键步骤和知识点： 1. **安装准备**： - 创建专用用户和目录：首先，为TBase集群创建一个...
pgxc/TBase 集群配置文件示例
templarzq的专栏
11-13 718
#!/bin/bash DATA_DIR=/data/zhangqiang/tbase/tbase2/data pgxcInstallDir=/data/zhangqiang/tbase/tbase2 pgxcOwner=tbase defaultDatabase=postgres pgxcUser=$pgxcOwner tmpDir=/tmp localTmpDir=$tmpDir c...
TBase开源版V2.1.0集群搭建部署完整版
最新发布
荷塘月色
12-19 472
TBase开源版V2.1.0集群搭建部署完整版
TBase数据库教程
04-18
简单易用 开箱即用的用户体验，清晰合理的分布式架构方案，便捷的现有业务迁移接入。 安全可靠 支持金融级别的两地三中心容灾方案，特有的数据行级非对称加密特性，完善的数据访问安全管理和审计功能。 按需扩展，高效灵活 支撑海量数据的高并发在线交易型业务，提供灵活、完善的数据治理功能，助力解决各种数据治理难题。 简化运维 沉淀了丰富的运维经验，积累了大量数据库运维工具，降低分布式系统的运维门槛。
TBase在保险行业的应用实践.pptx
10-14
TBase在保险行业的应用实践.pptx
TBase安装
荷塘月色
12-19 276
TBase 安装
TBase 安装
海风开源
08-20 3798
说明 参考 https://github.com/Tencent/TBase/wiki/1%E3%80%81TBase_Quick_Start 对 pgxc_ctl.conf 进行了修改，dnslave节点正常，gtmslave已启动，但是monitor显示not run。 机器配置 CPU MEM SPACE IP SYSTEM Service 4U 8G 500G 172.19.129.112 CentOS7.8 GTMMaster/CN01/DN01Master/DN02Slaver
linux安装TBase v2.5
OceanWaves1993的博客
05-01 1104
操作系统：Debian 10。
TBaseV2.1.0 集群搭建及遇到的问题
qq_47944580的博客
07-18 560
搭建tbase集群及出现的问题。
tbase 之一 github setup
一名数据库爱好者的专栏
03-11 1553
os: centos 7.4 db: tbase 2.0 tbase 是腾讯基于 pgxc 改造的一款 mpp 架构的分布式数据库。 主要架构也是 GTM,CN,DN ip 规划如下 192.168.56.101 congtm1 # GTMMaster 192.168.56.102 congtm2 # GTMSlave 192.168.56.103 cn1 # CoordinateN...
云原生分布式数据库事务隔离级别（下）
KaiwuDB 数据库
01-12 497
在前文中，我们已经介绍了事务的相关概念以及事务隔离的不同级别，本文将着重介绍快照隔离的发展。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值