普通网友-优快云博客

引擎调度单元（简称 EDU，即 Engine Dispatchable Unit）是指 SequoiaDB 巨杉数据库引擎进程内主线程以外的单个线程，它是 SequoiaDB 中任务运行的载体。每个 EDU 可以用来执行用户的请求或者执行系统内部的维护任务。EDU 之间相互独立，不同的 EDU 单独负责不同的会话，每个 EDU 拥有一个进程内唯一的 64 位整数标识，即 EDU ID。EDU 可以分为用户 EDU 和系统 EDU，分别代表执行用户任务的线程和执行系统任务的线程。EDU 的管理由 EDU

2021-03-25 15:35:49 233

原创 SequoiaDB 巨杉数据库-线程模型简介

SequoiaDB 巨杉数据库使用的是多线程模型，不同类型的线程用于处理不同的任务。对于集群中的一个节点，它要处理的任务主要包括：来自用户的请求来自集群内其它节点的请求节点内的管理任务SequoiaDB 设计了一系列的代理线程及系统线程来处理多种类型的任务，基本的线程模型如下图：图中，代理线程用于处理来自用户的请求；同步代理线程用于副本节点之间的数据同步；分区代理线程则是处理协调节点发给数据节点的请求。除此之后，还有一系列的独立线程，用于连接请求监听、网络数据收发等。下面对几..

2021-03-25 15:29:54 247

原创 SequoiaDB 巨杉数据库-序列实现原理

自增字段的序列值是在编目节点中统一生成，并批量分配给协调节点。编目节点每次会生成若干个序列值，并缓存起来，待缓存分配完，才会再次生成。编目节点缓存序列值的数量取决于序列属性的 CacheSize。类似地，协调节点每次也会请求若干个序列值，待序列值使用完，才会重新请求。协调节点每次获取序列值的数量取决于序列属性的 AcquireSize。如以下示意图。示例中有 3 个协调节点请求序列值。编目节点 Catalog 每次生成 200 个序列值并缓存起来，而协调节点每次请求 100 个序列值。以 Co.

2021-03-25 14:38:51 146

原创 SequoiaDB 巨杉数据库-序列使用方法

下面介绍基于 JSON API 介绍它们的使用方法。创建自增字段用户创建自增字段时，可以在创建集合时指定AutoIncrement属性。集合的创建可参考SdbCS.createCL()接口。例如：db.company.createCL("employee", { "AutoIncrement": { "Field": "ID" } })用户也可以在已存在的集合上使用SdbCollection.createAutoIncrement()接口来完成。例如：var cl = db.co..

2021-03-25 14:24:54 291

原创 SequoiaDB 巨杉数据库-序列

序列是可以生成唯一顺序值的对象，通常用于为表中的每一行记录生成唯一的标志符，必须绑定集合中的字段来使用。绑定了序列的字段称为自增字段。自增字段自增字段是使用序列的媒介。在创建自增字段时，系统会为指定的字段创建唯一对应的序列对象，并将序列与字段绑定。一个集合允许拥有多个自增字段。Note:独立节点不支持自增字段使用主子表时，仅主表自增字段生效，子表自增字段无效自增字段拥有属性如下：更多内容请点击巨杉数据库官网文档中心相关阅读SequoiaDB 巨杉数据库-使用S

2021-03-25 14:16:04 157

原创 SequoiaDB 巨杉数据库-使用

使用创建全文索引创建全文索引需使用接口SdbCollection.createIndex(<name>,<indexDef>,[options])。使用格式如下：createIndex(<索引名>, { <字段1>: "text", [<字段2>: "text"...] });全文索引可以指定一个或多个字段，普通索引的其它选项（如 Unique, NotNull...）均对全文索引无效，无需指定。例如，在 sample.emplo

2021-03-25 14:09:16 319

原创 SequoiaDB 巨杉数据库-全文检索环境部署

全文检索功能需要在 SequoiaDB 集群环境下使用，单机模式暂不支持。要使用全文检索功能，需要完成 Elasticsearch 集群、SequoiaDB 集群及搜索引擎适配器部署。由于在 Elasticsearch 中创建的索引的名字，是由集合的 Unique ID、原始索引名等元素组合而成，不同的 SequoiaDB 集群间这些值可能相同，因此建议每个 SequoiaDB 集群使用独立的 Elasticsearch 集群，不要混用，否则可能造成数据错误。软件安装1.SequoiaDB 及搜

2021-03-25 14:04:24 175

原创 SequoiaDB 巨杉数据库-全文索引

全文索引用于在大量文本中进行快速的检索。在使用普通索引时，搜索特定的关键字需要使用正则表达式。当文本是整本书或是整篇文章时，正则表达式的效率较低。而全文索引会创建一个词库，统计每个词条出现的频率和位置。在搜索某词时，就可以快速定位到该词出现的位置，提升检索效率。SequoiaDB 全文检索能够实现近实时的搜索能力，即一个新的文档从被索引到可被搜索会有一定的延迟。延迟取决于索引的速度。主要分两种情况：在空集合或者只有很少量数据的集合上创建全文索引。在写入压力不是太大的情况下，通常在若干秒（典型值如 1

2021-03-25 13:55:40 259

原创 SequoiaDB 巨杉数据库-使用索引查询

一般地，SequoiaDB 会自动生成访问计划决定查询是否使用索引扫描，以及使用哪个索引去扫描。如果需要指定索引来进行查询，可以使用SdbQuery.hint()接口完成。如，在sample.employee集合上指定 idIdx 索引来查询 id 为 999 的记录。db.sample.employee.find({ 'id': 999 }).hint({ '': 'idIdx' })如需查看索引使用情况，可以使用SdbQuery.explain()。ScanType 字段为 ixscan...

2021-03-25 13:43:27 374

原创 SequoiaDB 巨杉数据库-索引

索引是一种提高数据访问效率的特殊对象。在没有索引辅助的时候，如果要对少量记录进行精确查询，需要逐行地匹配扫描集合中所有的记录，这种方式的效率显然比较低。而有索引时，可以通过特定字段的值快速定位到匹配的记录，精确查询的效率将会大大提升。使用以下基于 JSON API 介绍索引的使用。创建索引要为集合创建索引，可以参考接口SdbCollection.createIndex(<name>,<indexDef>,[options])。接口语法如下：createInde.

2021-03-25 13:39:28 241

原创 SequoiaDB 巨杉数据库-数据模型

SequoiaDB 巨杉数据库支持结构化、半结构化和非结构化数据的存储与管理，能够满足用户对数据多样使用的需求。本章通过介绍以下基本概念，帮助用户更好的理解 SequoiaDB 的数据模型：文档记录数据类型集合集合空间大对象索引全文索引序列通过学习上述基本概念，用户可以了解 SequoiaDB 的以下功能：数据如何存储如何选择恰当的数据存储及管理方式数据存储及管理的约束相关阅读SequoiaDB 巨杉数据库-事务自动回滚...

2021-03-24 16:53:43 236

原创 SequoiaDB 巨杉数据库-事务自动回滚

对于写事务操作，若在操作过程发生错误，数据库配置中的 transautorollback 配置项可以决定当前会话所有未提交的写操作是否自动回滚。transautorollback 的描述如下：用户可以通过Sdb.setSessionAttr()的 TransAutoRollback 修改单个会话的事务自动回滚设置。Note：该配置项只有在事务功能开启（即 transactionon 为 true ）的情况下才生效。默认情况下，transautorollback 配置项的值为 true。..

2021-03-24 16:52:27 188

原创 SequoiaDB 巨杉数据库事务配置

事务是由一系列操作组成的逻辑工作单元。在同一个会话（或连接）中，同一时刻只允许存在一个事务，也就是说当用户在一次会话中创建了一个事务，在这个事务结束前用户不能再创建新的事务。事务作为一个完整的工作单元执行，事务中的操作要么全部执行成功要么全部执行失败。SequoiaDB 巨杉数据库中事务的操作只能是插入数据、修改数据以及删除数据，在事务过程中执行的其它操作不会纳入事务范畴，也就是说事务回滚时非事务操作不会被执行回滚。如果一个表或表空间中有数据涉及事务操作，则该表或表空间不允许被删除。事务启停数据

2021-03-24 16:46:05 152

原创 SequoiaDB 巨杉数据库-隔离级别

事务的隔离性是避免在多个同时执行的事务操作会话之间出现相互干扰的机制。加锁机制目前，SequoiaDB 巨杉数据库的隔离性是通过悲观锁机制来实现的，即对访问数据（包括集合空间、集合和数据记录）进行加锁来限制或阻止并发事务访问相同的数据。同时，SequoiaDB 支持意向锁机制来提高事务的并发度。SequoiaDB 支持三种类型的事务锁，事务锁表示对某个实体进行加锁。共享锁 (S)：当前事务对数据记录加 S 锁之后，并发事务只能对数据记录执行只读操作更新锁 (U)：当前事务对数据记录加 U

2021-03-24 16:43:12 267

原创 SequoiaDB 巨杉数据库-引擎安装部署

二阶段提交本文档将介绍 SequoiaDB 巨杉数据库的二阶段提交机制。分布式事务在 SequoiaDB 的分布式事务中，用户可以通过二阶段提交来保证参与事务的各个数据组之间的 ACID 事务特性。两个阶段是指：准备阶段（Pre-Commit）：在这一阶段，协调节点询问所有参与的数据节点是否准备好提交；参与的数据节点如果已经准备好提交，则回复可以进行提交并进入等待提交状态（Wait-Commit），否则回复不可以进行提交。提交阶段（Commit）：协调者如果在上一阶段收到所有参与的数

2021-03-24 16:40:34 394

原创 SequoiaDB 巨杉数据库-事务日志

SequoiaDB 巨杉数据库中的事务日志记录了事务对数据库的所有更改，是备份和恢复的重要组件，也在事务操作中被用于回滚数据。因此事务日志中通常包含 REDO 和 UNDO 两部分，其中 REDO 部分用于数据恢复和复制组节点间数据进行增量同步，UNDO 部分用于事务回滚操作恢复数据到事务操作前的状态。如执行更新操作的事务日志中，将分别记录新值（New）和旧值（Orig）： Version: 0x00000001(1) LSN : 0x0000000058b90740(236) PreL

2021-03-24 16:06:45 247 1

原创 SequoiaDB 巨杉数据库-分布式事务

在 SequoiaDB 巨杉数据库中，单条记录的操作是原子性的，因此对单条记录的操作不需要事务。然而，在许多应用场景中存在对更新多条记录时的原子性需求以及读取多条记录时的一致性需求。SequoiaDB 通过跨复制组的分布式事务对上述需求提供了支持。事务提供了一种“要么全做，要么什么都不做”的机制。当事务被提交给了数据库，则数据库需要确保该事物中的所有操作都成功完成且其结果被永久保存在数据库中。如果事务中的任何一个操作没有成功完成，则事务中的所有操作都需要回滚到事务执行前的状态。事务事务是数据库执

2021-03-24 16:03:40 234 1

原创 SequoiaDB巨杉数据库数据域数据分区操作实例

为了进一步帮助用户更好地理解和使用数据分区，本文档通过以下操作实例进行解释说明。以下实例均使用shell工具进行操作。数据库分区使用范围分区方式做数据库分区在集合sample.employee中，将create_date字段范围在 [201801, 201901) 中的数据切分到复制组 group2 上，其它数据切分到复制组 group1 上。创建集合sample.employee，分区键为create_date字段，分区方式为 range，集合所在复制组为 group1...

2021-03-24 15:54:12 181

转载 SequoiaDB 巨杉数据库复制组选举

复制组通过选举机制来确定哪个成员成为主节点，保障复制组内任何时候只存在一个主节点。当主节点故障后，会在其他备节点之间自动选举出主节点。SequoiaDB 巨杉数据库使用改进过的 Raft 选举协议。节点心跳在复制组内，所有的节点定期向组内其它成员发送携带自身状态信息的消息，对端节点收到该消息后返回应答消息。节点两两之间通过该消息感知对方的状态，发送的消息称为心跳，其间隔为 2 秒钟。节点选举当主节点发生故障，如主节点所在的机器宕机，其余节点一段时间内收不到主节点心跳后就会..

2021-03-24 15:46:22 154

转载 SequoiaDB巨杉数据库数据域

数据域（Domain）是指由若干个复制组组成的逻辑单元，其主要作用是数据隔离。一个复制组可以属于多个域。复制组个数为0的域，称作空域。用户在空域中不能创建集合空间。 SYSDOMAIN 为预定义的系统域。所有复制组均属于系统域，用户不能直接操作系统域。原理图中共有6个复制组：prod_part1，prod_part2，prod_part3，prod_part4，prod_part5，prod_part6 一共有4个数据域：prod_domain1，prod_domain2，pro.

2021-03-24 15:45:09 276

转载 SequoiaDB巨杉数据库多维分区

当用户需要提高数据访问性能，可以使用表分区或数据库分区，但是在数据量快速增长的场景下性能会逐渐下降，多维分区可以解决这一问题。本文档将介绍多维分区的实现原理和操作实例。原理介绍多维分区主要用于处理既要减少数据访问量，又要提高数据并行计算能力的场景。多维分区示意图：对主集合进行表分区，将多个分区映射到不同的子集合上针对某一个子集合，使用数据库分区，将子集合中的数据切分到不同的数据组中当需要访问某一范围内的数据时，既可以将数据访问集中在若干个子集合中，又能同时发挥不同复制组并行计算的能力

2021-03-23 17:32:27 222

转载 SequoiaDB巨杉数据库分区键选择

在集合中，作为数据分区划分依据的字段称为分区键。在范围分区方式中，分区键是用于划分数据范围的字段；在散列分区中，分区键是用于计算 hash 值的字段。每个分区键可以包含一个或多个字段。在创建集合时，可以指定分区类型和分区键，具体命令可参考创建集合。范围分区键格式说明使用范围分区方式做数据分区时，分区键格式如下：{ ShardingKey: { <字段1>: <1|-1>, [<字段2>: <1|-1>, ...] }, Shard

2021-03-23 17:28:14 185

转载 SequoiaDB巨杉数据库表分区配置

当用户需要将集合business.orders中以create_date字段按年将数据切分到不同的子集合中。相应的切分配置如下表：以下根据配置，实际生成集合business.orders创建集合business.orders，指定为主集合，分区键为create_date字段，分区方式为 range：> db.business.createCL( "orders", { IsMainCL: true, ShardingKey: { create_date: 1 }, ...

2021-03-23 17:25:29 187

转载 SequoiaDB巨杉数据库分区配置

用户做数据分区时，需要进行分区配置，配置的主要内容包括划分每个分区包含的数据范围，以及指定分区的归属。数据库分区配置假设用户需要将集合business.orders_2019中以id字段为分区键将数据均匀切分到两个复制组 prod_part1， prod_part2 中。则相应的切分配置如下表：Note:对集合business.orders_2019做散列分区，默认情况下 hash 值范围为 [0, 4096)以下根据配置，实际生成集合business.orders_...

2021-03-23 17:22:15 154

转载 SequoiaDB巨杉数据库表分区

在 SequoiaDB 集群环境中，可以通过将一个集合中的数据划分成若干不相交的子集，再将这些子集映射到另外的集合上，这种数据切分的方法称为表分区。这些不相交的子集称为分区，被数据划分的集合称为主集合，分区映射的集合称为子集合。分区内的所有数据记录都是完整的记录一个分区只能映射到一个子集合中通过集合挂载操作，可以将分区从一个子集合中映射到另外一个子集合中当需要访问某个特定范围内的记录时，只会访问所属分区的子集合，避免访问所有分区数据，从而减少了数据访问量分区方式分区方式是指将.

2021-03-23 17:18:38 233

转载 SequoiaDB 巨杉数据库分区原理数据库分区

在 SequoiaDB 巨杉数据库中，通过将集合数据拆分成若干小的数据集进行管理，从而达到并行计算和减小数据访问量的目的。根据管理方式的不同，可以分为以下两种分区类型：数据库分区：用于描述数据在集合与复制组之间的关系表分区：用于描述数据在集合与集合之间的关系数据库分区在 SequoiaDB 集群环境中，可以通过将一个集合中的数据划分成若干不相交的子集，再将这些子集切分到复制组中，以达到并行计算的目的,这种数据切分的方法称为数据库分区。而这些不相交的子集称为分区。分区内的所有数据记.

2021-03-23 17:15:24 185

转载 SequoiaDB 巨杉数据库数据复制与读写分离

数据复制数据复制为复制组中节点之间的同步机制。增量同步在数据节点和编目节点中，任何增删改操作均会写入日志。节点会将日志写入日志缓冲区，然后再异步写入本地磁盘。数据复制在两个节点间进行：源节点：含有新数据的节点目标节点：请求进行数据复制的节点目标节点会选择一个与其数据最接近的节点，然后向它发送一个复制请求。源节点收到复制请求后，会打包目标节点请求的同步点之后的日志，并发送给目标节点。目标节点接收到同步数据包后，会重放事务日志中的操作。节点之前的复制有两种状态：

2021-03-22 17:16:32 244

转载 SequoiaDB 巨杉数据库事务日志 replicalog

节点之间，通过事务日志进行副本间的数据同步。事务日志文件存在于节点数据目录下的 replicalog 目录。例如，节点的数据目录为 /opt/sequoiadb/database/data/11830： $ ls -l /opt/sequoiadb/database/data/11830/replicalog-rwx------ 1 sdbadmin sdbadmin_group 67174400 3月 11 12:50 sequoiadbLog.0-rwx------ 1 ..

2021-03-22 17:13:36 243

转载 SequoiaDB 巨杉数据库复制组原理

复制组副本间通过拷贝和重放事务日志来实现数据同步。复制组成员一个复制组由一个或者多个节点组成。复制组内有两种不同的角色：主节点和备节点。正常情况下，一个复制组内有且只有一个主节点，其余为备节点。主节点主节点是复制组内唯一接收写操作的成员。当发生写操作时，主节点写入数据，并记录事务日志 replicalog。备节点从主节点异步复制 replicalog，并通过重放 replicalog 来复制数据。备节点备节点持有主节点数据的副本，一个复制组可以有多个备节点。 ..

2021-03-22 17:10:47 109

转载 SequoiaDB 巨杉数据库容器模式部署

Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口。Docker 利用 LXC 来实现类似 VM 的功能，从而利用更加节省的硬件资源提供给用户更多的计算资源。SequoiaDB 巨杉数据库为用户提供了 Docker 镜像，用户可以通过镜像快速部署集群进行开发和测试工作。本文主要讲解如何在 Linux 系统上安装 Docker 应用并拉取 Sequoi

2021-03-22 17:06:50 142

空空如也

巨杉数据库sequoiadb报错如下，请问什么原因导致的

sequoiadb巨杉数据库中，导入sdb数据的时候报错-10

巨杉数据库SequoiaDB中子文档创建复合索引失败