u013721254的博客

原创 流处理应用开发（SequoiaDB）

实验 1基于 SequoiaDB 的 Flink 应Flink API 抽象级别：从上图中可以看到，Flink 的 Core（也称之为 Runtime ）可运行在常见的资源环境中，如本地 JVM，集群和云平台中。其基础 API 可以看到分为用于流场景的 DataStream 与批场景的 DataSet，基于这两种 API，Flink 又抽象出 Table API 与 CEP 和 ML 等高级接口，本次课程只演示 DataStream API 和 Table API 的使用。获取执行环境

原创 Spark开发实例（SequoiaDB）

实验 1搭建 Spark 实例应用开发环境程序中会创建 JDBC 连接，并通过 JDBC 在 Spark SQL 中创建 jdbc_sample 集合的映射表，向映射表中插入一条记录后查询 jdbc_sample 记录打印到控制台，最终关闭 JDBC 的连接资源// Call the predefined SdbUtil class to create a collection space and collectionSdbUtil.initCollectionSpace("sample");Sd

原创 对象存储应用开发

实验 1 搭建对象存储应用开发环境Maven依赖的POM文件： <dependencies> <dependency> <groupId>com.sequoiadb</groupId> <artifactId>sequoiadb-driver</artifactId> <version>3.4</version>

原创 JSON 实例应用开发

实验 1 搭建 JSON 实例应用开发环境通过 Java SDK 进行数据库连接// Create a database link.Sequoiadb db = new Sequoiadb("sdbserver1", 11810, "sdbadmin", "sdbadmin");try { // Get the information from data set. DBCursor rgs = db.listReplicaG

原创 MySQL实例开发（SequoiaDB高级课程）

实验 1 搭建 MySQL 实例应用开发环境使用 JDBC 配置连接信息，查询 employee 表：Class.forName("com.mysql.jdbc.Driver");// MySQL usernameString user = "root";// MySQL passwordString password = "root";// MySQL connection addressString url = "jdbc:mysql://sdbserver1:3306/mysqlTe

原创 高级运维管理

弹性扩展能力创建 company_domain 逻辑域: db.createDomain("company_domain", [ "group1", "group2", "group3" ], { AutoSplit: true } );创建 company 集合空间: db.createCS("company", { Domain: "company_domain" } );创建 employee 集合: db.company.createCL("employee", { "ShardingKe

原创 数据库应用开发

MySQL/MariaDB实例应用开发：创建数据库及数据表：登录MySQL：/opt/sequoiasql/mysql/bin/mysql -h 127.0.0.1 -P 3306 -u root创建数据库：create database company; use company;在 MySQL 实例 company 数据库中创建分区表 employee:CREATE TABLE employee (empno INT,ename VARCHAR(128),age INT,PRIMARY

原创 SparkSQL实例管理

Spark实例的创建和使用安装Spark：解压Spark安装包：tar -zxf /home/sdbadmin/soft/spark-2.4.4-bin-hadoop2.7.tar.gz -C /opt添加驱动包：拷贝 SequoiaDB for Spark 的连接器到 Spark 的 jars 目录下：cp /opt/sequoiadb/spark/spark-sequoiadb_2.11-3.4.jar /opt/spark-2.4.4-bin-hadoop2.7/jars/拷贝 MySQL

原创 SequoiaDB的PostgreSQL实例管理

PostgerSQL实例的创建：创建pg实例：/opt/sequoiasql/postgresql/bin/sdb_sql_ctl addinst myinst -D database/5432/启动实例：/opt/sequoiasql/postgresql/bin/sdb_sql_ctl start myinst在SequoiaDB中创建集合空间和集合：创建 company_domain 数据域：db.createDomain("company_domain", [ "group1", "gr

原创 SequoiaDB的MySQL实例管理

创建MySQL实例：添加实例：cd /opt/sequoiasql/mysql/bin/sdb_sql_ctl addinst myinst -D database/3306/查看实例：/opt/sequoiasql/mysql/bin/sdb_sql_ctl listinst查看实例状态：/opt/sequoiasql/mysql/bin/sdb_sql_ctl status创建数据库：登录Mysql：/opt/sequoiasql/mysql/bin/mysql -h 127.0.0.1 -

原创 SequoiaDB实例管理

创建MySQL实例：设置 SequoiaSQL-MySQL 实例程序权限为可执行：chmod +x sequoiasql-mysql-3.4-linux_x86_64-installer.run创建myinst实例：/opt/sequoiasql/mysql/bin/sdb_sql_ctl addinst myinst -D database/3306/配置参数有三种修改方式：使用工具 sdb_sql_ctl 修改配置，配置生效需重新启动 MySQL 服务。例如： bin/sdb_sql_ctl

原创 SequoiaDB的备份和恢复

创建逻辑域：db.createDomain("company_domain", [ "group1", "group2", "group3" ], { AutoSplit: true } );创建集合空间：db.createCS("company", { Domain: "company_domain" } );创建集合：db.company.createCL("employee", { "ShardingKey": { "_id": 1 }, "ShardingType": "hash", "Repl

原创 集群扩容和缩容

创建一个新的数据组：db.createRG("group4");在group4创建1一个数据节点副本：db.getRG("group4").createNode("sdbserver1", 11850, "/opt/sequoiadb/database/data/11850/");createNode方法说明启动数据组：db.getRG("group4").start();数据域 company_domain 增加数据组: db.getDomain("company_domain").addGrou

原创 数据库存储计算集群管理

查找本机已经部署数据节点：sdblist -l -r data进入其中一个数据节点：cd /opt/sequoiadb/database/data/11820/查看目录内容：ls -trl创建company_domain逻辑域：db.createDomain("company_domain",["group1","group2","group3"],{AutoSplit:true})创建company集合空间：db.createCS("company",{Domain:"company_domai

原创 SequoiaDB直接管理存储计算引擎

集群管理操作:链接节点：var db = new Sdb("localhost", 11810);查看集群拓扑结构：db.list(SDB_LIST_GROUPS);检查集群节点状态，集群有异常节点时，在 “ErrNodes” 字段中列出:db.snapshot(SDB_SNAP_DATABASE);创建集合空间和集合:创建域：db.createDomain("company_domain", [ "group1", "group2", "group3" ], { AutoSplit: true

原创 SequoiaDB Certified Database Professional SCDP学习笔记

查看SequoiaDB的版本：sequoiadb --version查看 SequoiaDB 巨杉数据库存储引擎节点列表:sdblist查看 MySQL 实例状态: sdb_sql_ctl status登录Mysql (注意这里使用mysql -u root 不能登录，不确定是什么原因，感觉应该是因为默认的不是127.0.0.1:3306)创建并使用database创建自增逐渐字段的表创建包含唯一索引的manager 表写入操作：查找和排序：两个表的关联功能：数据的更新：

转载 SDBTOP的使用

进入主窗口后按’d’键，列出数据库节点的数据库监视信息，默认3秒刷新一次按C进行筛选进入主窗口，按’c’键，列出数据库节点上的所有集合空间进入主窗口，按’s’键，列出数据库的资源使用情况：注意：这里配置文件的位置是 SequoiaDB安装目录下conf中samples/sdbtop.xml文件...

转载 SNAPSHOT命令行

list/snapshot命令行列表类型：在sequoiaDB中，列表是一种轻量级的得到系统当前状态的命令，主要分为以下类型db = new Sdb()db.list(SDB_LIST_)快照类型：快照是一种得到系统当前状态的命令，主要分为以下类型：db= new Sdb()db.snapshot(SDB_SNAP_)使用SQL的方式去访问sdb 'db.exec(“select * from $SNAPSHOT_SESSION where NodeName in(”*")")...

转载 集群管理监控

为什么要做sdb的集群监控？了解数据库及应用总体性能调优数据库配置参数进行问题诊断和监控更好的理解用户和应用程序活动图形化监控手段：命令行监控手段：注意这里的命令：db.snapshot(SDB_SNAP_SYSTEM)通过SAC进行监控：监控主机：...

转载 SequoiaDB数据备份恢复

全量备份：可以使用mysqldump直接备份整个库或者是备份其中某一个库或者一个库中的某个表。增量备份：增量备份是针对于数据库的bin-log日志进行备份的，需要开始数据库的bin-log日志。增量备份是在全量的基础上进行操作的。增量备份主要是靠mysql记录的bin-log日志。（参考资料链接）备份的时候记得删除损坏机的.SEQUOIADB_STARTUP和.SEQUOIADB_STARTUP_HISTORY文件...

转载 从Oracle迁移数据

转载 MySQL迁移数据

mydumper是多线程的实时复制

转载 sequoiaDB的高可用与扩缩容

协调节点要能正确的分发任务就得和编目节点去做通信。编目节点主要是用于存储整个分布式的存储结构，节点重要参数等（元数据的信息）做数据存储的是由数据节点组。（一个数据组最多有7个数据节点）将一个集合中的数据划分成多个不相交的子集，再将这些子集切分到数据组（复制）里去，这种就叫做数据分区，这种不同的子集就叫做分区。逻辑上一个大的集合，按照一个字段或者多个字段的值，把一个大的集合划分成一个小的集合，然后再把这些小的集合存放到不同的区块上（物理机上不同磁盘或者是不同物理机上），好处是：带来水平扩展能力，提高.

原创 SequoiaDB 架构原理

记录是在数据页内部从后往前按照一个链表串联起来的而索引页和数据页完全不一样这里发现其实查找数据是不需要查找的，是直接通过Hash算出来的（感觉这里就像是HashMap的思想）这里就像是Redis的处理，算hash，然后根据分区找到特定的分区。这里是将整个文件打散成多个文件，然后再存放到各个分区，这样就能保住安全性保住数据的一致性：性能分析思路：也可以从SequoiaDB到My...

原创 SequoiaDB简介和初识

为什么需要一个分布式的数据库：因为需求的增加和对吞吐量的需求增加，所以发生了下述的转型主要核心：每一组微服务都是一个可以弹性扩展的框架。这种每组微服务都有一个数据库作为数据支撑，这样有一个缺陷：比如这组有20个微服务，但是数据库只要一个的话，这样会成为微服务扩张的瓶颈（弹性扩张）。第二个缺陷：从原来的一个数据库拆散到几十个数据库，那么如果进行跨库的分析就会对DBA和分析人员是一个巨大的挑战（...

原创 学习Spring-MVC的第三天

这篇博文谈谈传值@RequestParam()jsp代码片段&lt;a href="indexController?username=cpy"&gt;GOTO Controller&lt;/a&gt;controller.java代码片段@RequestMapping(value="indexController")public String indexController(@R...

原创 学习Spring-MVC的第二天

这篇讲的是RequestMapping的映射和HiddenHttpMethodFilter过滤器@Controller@RequestMapping("indexClassController")public class indexController { @RequestMapping("indexController") public String GOTO() { retu...

原创 学习Spring-MVC的第一天

首先是要使用的Jar包：然后创建一个web.xml添加一段这样的代码 &amp;amp;amp;lt;!-- 通过以下配置，拦截一切请求，交给SpringMVC处理 --&amp;amp;amp;gt; &amp;amp;amp;lt;servlet&amp;amp;amp;gt; &amp;amp;amp;lt;servlet-name&amp;amp;amp;gt;SpringDispatcherServlet&am