SequoiaDB集群的搭建（一）

最新推荐文章于 2022-01-08 16:25:43 发布
最新推荐文章于 2022-01-08 16:25:43 发布
阅读量2.4k 收藏 1
点赞数
分类专栏： NoSql-SequoiaDB
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/hadoop_fly/article/details/42772757
版权
本文详细介绍了如何搭建SequoiaDB高性能集群，包括环境准备、配置主机名、关闭防火墙、调整系统参数，以及启动和管理SequoiaDB的各个组件。通过配置，可以实现对总数据吞吐和性能的要求，但牺牲一定的可靠性。同时，文章还提到了SequoiaDB Web服务器的启动和监控管理，便于数据库管理和操作。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. 搭建集群环境

分为高可用和高性能两种选择

高可用部署方式适用于对可靠性要求高，但数据量不大、总吞吐要求不高的应用场景。在该部署中，在三台物理服务器上，都部署有数据节点和编目节点，三个数据节点组成一个副本组，三个编目节点组成副本集群。协调节点部署在业务应用的服务器上，也可以将应用/协调节点合部到数据库服务器上。这种部署方式得优势就是高可靠性，任意一个物理服务器故障，数据的读写都不会受到影响。但数据容量与单个服务器的容量相同，且硬件成本相对较高。



高性能

高性能部署方式适用于对总数据吞吐/性能要求高，硬件成本低，但对可靠性要求不高的场景。该部署方式，在三台物理机服务上都部署有编目节点和数据节点，三个编目节点组成一个副本组，每个数据节点单独组成一个副本组（只有一个副本）。协调节点与应用部署在分离的服务器上，或者也可以部署到数据库服务器上。这种部署模式可以充分利用所有服务器的存储容量，总的存储容量等于3个服务器的容量总和。但可靠性较低，任意一台服务器故障，都会导致部分数据无法读取和写入。



下面我们采用的是高性能：

下载地址：http://www.sequoiadb.com/index.php?p=downserver

2. 环境准备

  • 配置主机名

    配置项配置方法验证方法
    配置主机名1. 使用 root 权限登陆，执行 hostname sdbserver1（sdbserver1为主机名称，可根据需要修改。）；

    • 对于 SUSE：

      2. 打开 /etc/HOSTNAME 文件；

      vi /etc/HOSTNAME

      3. 修改文件内容，配置为主机名称；

      sdbserver1  （主机名称）

      4. 按 :wq 保存退出；

    • 对于 RedHat：

      2. 打开 /etc/sysconfig/network 文件；

      vi /etc/sysconfig/network

      3. 将 HOSTNAME 一行修改为 HOSTNAME = sdbserver1，其中 sdbserver1 为新主机名；

      4. 按 :wq 保存退出；

    • 对于 Ubuntu：

      2. 打开 /etc/hostname 文件；

      vi /etc/hostname

      3. 修改文件内容，配置为主机名称；

      sdbserver1

      4. 按 :wq 保存退出；
    		执行 hostname 命令，确认打印信息是否为“sdbserver1”
    配置物理机之间通过主机名可连接

    • 使用 root 权限，打开 /etc/hosts 文件

      vi /etc/hosts

    • 修改 /etc/hosts，将服务器节点的主机名与IP映射关系配置到该文件中

      192.168.20.200  sdbserver1

      192.168.20.201  sdbserver2

      192.168.20.202  sdbserver3

    • 保存退出

    1. ping sdbserver1（本机主机名）可以 ping 通

    2. ping sdbserver2（远端主机名）可以 ping 通

  • 关闭防火墙

    配置项配置方法验证方法
    关闭防火墙关闭防火墙操作，需要管理员权限。

    • 对于 SUSE：

      1. SuSEfirewall2 stop；

      2. chkconfig SuSEfirewall2_setup；

    • 对于 RedHat：

      1. service iptables stop；

      2. chkconfig iptables off；

    • 对于 Ubuntu：

      1. ufw disable；
    • 对于 SUSE：

      chkconfig -list | grep fire；

    • 对于 RedHat：

      service iptables status；

    • 对于 Ubuntu：

      ufw status；

Note: 每台作为数据库服务器的机器都需要配置。

Linux 推荐配置

  • 调整 ulimit

    在配置文件 /etc/security/limits.conf 中设置：

    #<domain>      <type>    <item>     <value>
*               soft      core       0
*               soft      data       unlimited
*               soft      fsize      unlimited
*               soft      rss        unlimited
*               soft      as         unlimited

    参数说明：

    core：数据库出现故障时产生 core 文件用于故障诊断，生产系统建议关闭；

    data：数据库进程所允许分配的数据内存大小；

    fsize：数据库进程所允许寻址的文件大小；

    rss：数据库进程所允许的最大 resident set 大小；

    as：数据库进程所允许最大虚拟内存寻址空间限制；

    在配置文件 /etc/security/limits.d/90-nproc.conf 中设置： 
    #<domain>      <type>    <item>     <value>
*               soft      nproc     unlimited

    参数说明：

    nproc：数据库所允许的最大线程数限制；
    Note: 1. 每台作为数据库服务器的机器都需要配置； 2. 更改配置后需重新登录使得配置生效。
  • 调整内核参数

    1. 使用下列命令输出当前 vm 配置，并将其归档保存：

    cat /proc/sys/vm/swappiness
cat /proc/sys/vm/dirty_ratio
cat /proc/sys/vm/dirty_background_ratio
cat /proc/sys/vm/dirty_expire_centisecs
cat /proc/sys/vm/vfs_cache_pressure
cat /proc/sys/vm/min_free_kbytes

    2. 添加下列参数至 /etc/sysctl.conf 文件调整内核参数：

    vm.swappiness = 0
vm.dirty_ratio = 100
vm.dirty_background_ratio = 40
vm.dirty_expire_centisecs = 3000
vm.vfs_cache_pressure = 200
vm.min_free_kbytes = <物理内存大小的8%，单位KB>
    Note: 当数据库可用物理内存不足 8GB 时不需使用 vm.swappiness = 0；上述 dirty 类参数只是建议值，具体系统设置时请按原则（控制系统的 flush 进程只采用脏页超时机制刷新脏页，而不采用脏页比例超支刷新脏页）进行设置。

    3. 执行如下命令，使配置生效：

    /sbin/sysctl -p
    Note: 每台作为数据库服务器的机器都需要配置。
  • 数据库目录结构

    用户应尽可能使数据目录，索引目录与日志目录存放在不同物理磁盘中，以减少顺序 I/O 与随机 I/O 之间的竞争。

2. 在每个节点进行安装

（1）本节按照高可用部署为例，介绍配置和启动步骤；

  （2）以下操作步骤假设 SequoiaDB 程序安装在 /opt/sequoiadb 目录下；

  （3）sdb服务进程全部以 sdbadmin 用户运行，请确保所有数据库目录都赋予 sdbadmin 读写权限。

  • 步骤一：检查 SequoiaDB 的配置服务状态
    在每台数据库服务器上检查 SequoiaDB 配置服务状态： 
    service sdbcm status
    确认系统提示“sdbcm is running”表示服务正在运行，否则请执行如下命令重新配置服务程序： 
    service sdbcm start
  • 步骤二：启动一个临时协调节点（该节点只是为了创建其它节点而临时使用，后面会删除）
    1. 切换到 sdbadmin 用户 
    su sdbadmin
    2. 在任意一台数据库服务器上（以下步骤都只需要在这台服务器上操作），启动 SequoiaDB Shell 控制台 
    /opt/sequoiadb/bin/sdb
    3. 连接到本地的集群管理服务进程 sdbcm 
    var oma = new Oma("localhost", 11790)
    4. 创建临时协调节点 
    oma.createCoord(18800, "/opt/sequoiadb/database/coord/18800")
    5. 启动临时协调节点 
    oma.startNode(18800)
  • 步骤三：通过命令配置和启动编目节点

    1. 连接到临时协调节点，在 shell 命令中输入：

    > var db = new Sdb("localhost",18800)
    其中18800为协调节点端口号
    2. 创建一个编目节点组 
    > db.createCataRG("sdbserver1", 11800, "/opt/sequoiadb/database/cata/11800")

    其中

    sdbserver1：第一个服务器主机名；

    11800：为编目节点服务端口（该端口配置不要与随机端口冲突，以下其它端口的配置也需要注意）；

    /opt/sequoiadb/database/cata/11800：为编目节点的数据文件存放路径；
    Note: 请确保存放路径的权限，如果 SequoiaDB 采用的默认安装，那么给路径赋予 sdbadmin 权限，下同。
    3. 等待5秒，开始添加另外两个编目节点 
    > var cataRG = db.getRG("SYSCatalogGroup");
> var node1 = cataRG.createNode("sdbserver2", 11800,"/opt/sequoiadb/database/cata/11800")
> var node2 = cataRG.createNode("sdbserver3", 11800,"/opt/sequoiadb/database/cata/11800")
    4. 启动编目节点组 
    > node1.start()
> node2.start()
    Note: 创建节点的第一个参数必须为“主机名”，而不能使主机的 IP。
  • 步骤四：通过命令配置和启动数据节点
    1. 创建数据节点组 
    > var dataRG = db.createRG("datagroup")
    2. 添加数据节点 
    > dataRG.createNode("sdbserver1", 11820, "/opt/sequoiadb/database/data/11820")
> dataRG.createNode("sdbserver2", 11820, "/opt/sequoiadb/database/data/11820")
> dataRG.createNode("sdbserver3", 11820, "/opt/sequoiadb/database/data/11820")
    Note: 创建节点的第一个参数必须为“主机名”，而不能是主机的 IP。
    3. 启动数据节点组 
    > dataRG.start()
  • 步骤五：部署启动协调节点
    1. 创建协调节点组 
    var rg = db.createCoordRG()
    2. 创建协调节点 
    rg.createNode("sdbserver1", 11810, "/opt/sequoiadb/database/coord/11810")
rg.createNode("sdbserver2", 11810, "/opt/sequoiadb/database/coord/11810")
rg.createNode("sdbserver3", 11810, "/opt/sequoiadb/database/coord/11810")
    3. 启动协调节点 
    rg.start()
  • 步骤六：删除临时协调节点
    1. 连接到本地的集群管理服务进程 sdbcm 
    var oma = new Oma("localhost", 11790)
    2. 删除临时协调节点 
    oma.removeCoord(18800)
3. web查看

SequoiaDB Web 监控

启动 SequoiaDB Web 服务器

通过启动 SequoiaDB 后台的 Web 服务，也可以对数据库做各种操作，并且方便管理。

  • 进入 /opt/sequoiadb/bin 目录
  • 执行命令： 
    ./sdbwsart -S <server name:port>

    server name ：指定服务器IP地址，如 192.168.10.10

    port ：指定服务器端口号，如 8080

    最后在浏览器中输入 http://192.168.10.10:8080，即可访问数据库管理页。

监控管理

PHP 监控支持 IE9+、chrome、firefox 等主流浏览器。

  • 1. 启动 PHP 服务
    1.1 在安装了 SequoiaDB 的主机上，执行 sequoiadb 目录下 bin/sdbwsart。例如： 
    /opt/sequoiadb/bin/sdbwsart

    1.2 在浏览器输入 【步骤1.1】 的地址 http://192.168.1.215:8080/

  • 2. 连接监控页面

    2.1 在连接管理 <连接地址> 输入地址，点击 <连接测试>，连接成功后，点击 <连接>；

  • 3. 创建集合空间、集合、插入数据

    3.1 创建集合空间，点击 <工具栏> 的按钮，输入 <集合空间名>，点击 <确定>；

    3.2 创建集合，点击集合空间 foo 的 <属性>，点击 <工具栏> 的按钮，输入 <集合名>，点击 <确定>；

    3.3 插入数据，点击集合 bar 的 <数据>，点击 <工具栏> 的按钮，输入 json 记录，点击 <确定>；

    3.4 格式化 Json 记录，点击 <工具栏> 的按钮。

  • 4. 集群管理

    4.1 查看集群，点击导航 <集群管理>。


【SequoiaDB】2 巨杉数据库SequoiaDB可视化部署
个人公众号：Alen的数据库学习笔记
03-27 554
上篇介绍了如何可视化安装巨衫数据库Sequoia DB SAC，本篇进行演示如何一键部署集群以及数据库。 1）登录SAC （http://192.168.56.101:8000/） 2）点击 一键部署 3）在弹出的窗口，填写集群名、用户名、密码等信息 4）在扫描主机界面，填写集群的IP地址/主机名、密码信息，点击扫描 5）勾选主机列表中的主机，点击下一步 6）等待主机安装巨...
【技术解析】如何用Docker实现SequoiaDB集群的快速部署
巨杉数据库技术社区
02-22 5045
1. 背景 以Docker和Rocket为代表的容器技术现在正变得越来越流行，它改变着公司和用户创建、发布、运行分布式应用的方式，在未来5年将给云计算行业带来它应有的价值。它的诱人之处在于： 1）资源独立、隔离 资源隔离是云计算平台的最基本需求。Docker通过Linux namespace, cgroup限制了硬件资源与软件运行环境，与宿主机上的其他应用实现了隔离，做到了互不影响。不同应用...
【入门教程】使用C#开发SequoiaDB的应用
巨杉数据库技术社区
11-02 4655
本文为SequoiaDB社区用户贡献的文档教程，帮助大家快速入门SequoiaDB适配C#，并进行简单的开发。
SequoiaDB集群部署简易步骤
fly_fly_fly_pig的博客
09-17 951
本篇采用命令行方式在三台虚机上部署SDB集群。 SequoiaDB v3.2.3及以上版本支持sac一键部署集群 此次部署集群使用centos7.x版本，每台虚机内存分配2g或以上 一. 安装前准备工作 1. 修改主机名 # 按照顺序，修改三台主机名分别为sdb01，sdb02，sdb03 vi /etc/hosts 2. 关闭防火墙 # 查看防火墙状态 systemctl status ...
SequoiaDB数据库集群部署
大数据技术研究
09-30 1979
一般在多机环境下部署数据库的集群模式是比较繁琐的，下面我来分享一个如何通过shell脚本的方式简单、方便地部署我们的集群。 首先，我们要给机器配置信任关系，这样我们就无需手动的输入密码来执行ssh和scp操作 假设我们我们有四台机器： suse1 suse2 suse3 suse4 suse1是部署控制机，suse2 suse3 suse4是需要部署的机器 suse2 suse
SequoiaDB集群搭建（单机模式）
zhy1805的博客
11-29 2132
SequoiaDB集群搭建（单机模式）
【巨杉数据库SequoiaDB】【技术解析】如何用Docker实现SequoiaDB集群的快速部署
Dinosaur_1117的博客
04-28 419
背景 以Docker和Rocket为代表的容器技术现在正变得越来越流行，它改变着公司和用户创建、发布、运行分布式应用的方式，在未来5年将给云计算行业带来它应有的价值。它的诱人之处在于： 1）资源独立、隔离 资源隔离是云计算平台的最基本需求。Docker通过Linux namespace, cgroup限制了硬件资源与软件运行环境，与宿主机上的其他应用实现了隔离，做到了互不影响。不同应用或服务以...
【SequoiaDB】7 巨杉数据库SequoiaDB手动创建集群
个人公众号：Alen的数据库学习笔记
04-01 519
本篇演示如何手工创建SequoiaDB集群，关于SequoiaDB数据的软、硬件环境及配置，可以参考巨衫数据库SequoiaDB可视化安装SAC。 1 安装数据库集群 1.1 运行安装脚本 [root@sdbserver1 sequoiadb-3.4]# ./sequoiadb-3.4-linux_x86_64-installer.run --mode text --SMS false ...
【巨杉案例】SequoiaDB+Spark搭建医院临床知识库系统
巨杉数据库技术社区
09-04 4846
1、背景介绍 从20世纪90年代数字化医院概念提出到至今的20多年时间，数字化医院（Digital Hospital)在国内各大医院飞速的普及推广发展，并取得骄人成绩。不但有数字化医院管理信息系统（HIS)、影像存档和通信系统（PACS)、电子病历系统（EMR)和区域医疗卫生服务（GMIS)等成功实施与普及推广，而且随着日新月异的计算机技术和网络技术的革新，进一步为数字化医院带来新的交互渠道譬如
单台物理机搭建Sequoiadb集群
littersister的专栏
07-01 1898
本文是通过一台物理机，搭建了集群是由3个协调节点，服务端口号分别为11810,11820,11830，3个编目节点，服务端口号分别为11800,11840,11850，以及3个数据节点，服务端口号分别为11860,11870,11880。（偶只有一台机，不弄虚拟机，就想搭个集群玩玩）。 首先在Sequoiadb官网上下载Sequoiadb数据库，http://www.sequoiadb.com/
巨杉数据库SequoiaDB的安装部署
莫等闲
07-02 1470
巨杉数据库为国产数据库，官方自称为分布式NewSQL数据库，语法类似于mongodb。连一些内部的机制都很相似。 如mongodb的ObjectId由Time，Machine，PID，INC构成，而sdb的ObjectId由Time，Machine，INC构成，构造方法为org.bson.types.ObjectId.ObjectId(Date time, int machine, int inc
数据库系列之SequoiaDB高可用集群部署（一）
牧羊人的方向
01-08 1857
SequoiaDB作为存储引擎，支持高并发的HTAP场景。本位总结运维分析项目中使用SequoiaDB作为数据存储的高可用部署实战
SequoiaDB 巨杉数据库独立模式部署
weixin_45890253的博客
03-22 218
独立模式部署 本文档主要介绍在本地主机部署 SequoiaDB 巨杉数据库的独立模式。 Note: 独立模式部署推荐用于业务的调测开发中，不建议在生产环境使用。 独立模式是 SequoiaDB 部署的最简模式，仅需要启动一个独立模式的数据节点，即可提供数据服务。该模式中所有信息都存放在数据节点，不存在编目信息。 独立模式支持基于 JSON API 的数据操作指令，而对于高可用与容灾、数据分区、数据复制及 SequoiaSQL-MySQL 实例下的自增字段等能力需要使用集群模式进行部署。 部署
【SequoiaDB|巨杉数据库】集群模式部署
weixin_43481281的博客
01-15 336
集群模式部署 集群模式的最小配置中，每种角色的节点至少启动一个，才能构成完整的集群模式。 集群模式中客户端或应用程序直接连接到协调节点，其余数据节点与编目节点对应用程序完全透明。 应用程序本身不需关心数据存放在哪个数据节点，协调节点会对接收到的请求解析，自动将其发送到需要的数据节点上进行处理。 在集群模式下，复制组之间的数据无共享，复制组内的节点间进行异步数据复制，保证数据的最终一致性。 Note: 在配置集群模式时，请先确保服务器与主机名的映射关系正确，详细可参考Linux系统要求 ，确保各节点之间能相
SequoiaDB的命令行安装
开染坊的白猫
03-04 628
安装 拷贝.run文件到各个服务器的目录 scp sequoiadb_*.run root@node-2: /opt scp sequoiadb_*.run root@node-3: /opt 给.run文件赋予可执行的权限 chmod a+x sequoiadb_*.run 执行.run文件进行安装，-SMS参数不需要了，因为不需要安装图形管理界面 ./sequoiadb_*.run...
SequoiaDB巨杉数据库SequoiaFS安装部署
weixin_38515299的博客
03-19 469
安装部署 本文档将介绍 FUSE 和 SequoiaFS 的安装部署。 安装说明 安装 SequoiaFS 之前应确保已安装 SequoiaDB 巨杉数据库； 需要使用 root 用户权限进行安装部署，应确保 root 用户对相关命令或配置文件具有访问权限。 检查FUSE版本 查看是否安装 FUSE # which fusermount 查看 FUSE 版本号 # fusermount --version Note： 若未安装 FUSE 或 FUSE 版本号低于 2.8.6，需进行 F
SequoiaDB安装快速入门手把手教学
Kamani_msd的博客
04-04 2128
巨杉数据库是一款金融级分布式关系型数据库，2017、2018连续两年入选Gartner数据库报告。 巨杉坚持产品从零开始自主研发，为用户提供安全可靠、性能卓越的海量数据存储管理、高并发实时处理、分布式计算以及实时流处理等企业级数据处理解决方案。 目前已在金融、政府、电信多个行业得到了广泛应用，并在超过50家大中型银行的核心生产系统应用。 硬件要求 在安装 SequoiaDB 产品之前，请确保您选择...
如何安装SequoiaDB数据库
SequoiaDBOfficail的博客
10-10 1872
数据库安装 手工安装需要先分别在每一台主机上安装 SequoiaDB，然后再命令行安装部署集群。 准备安装介质 请到 SequoiaDB 官方网站下载相应的版本。 下载地址：SequoiaDB 安装 SequoiaDB 安装前准备 确保系统满足硬件和软件要求 使用 root 用户权限来安装 SequoiaDB 数据库服务 检查 Sequoi
sequoia中添加和同步集群节点
在水一方
02-20 1417
当一个新的后端添加到集群中时，它下面的数据库必须被初始化为跟其他活动节点下的数据库相同的状态。 在Sequoia中，当一个新的节点添加到集群中时，会用recovery log这个节点初始化为跟集群中其他节点相同的状态。这个进程不会影响到集群的其他操作，这使得Sequoia可以不停机的进行故障恢复。 Sequoia 的控制器为每个虚拟数据库保留一份recovery log,这个log记录了所
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值