adson1987的博客

Database-对数据库架构设计及结合计算型存储的思考数据库系统面临的瓶颈如何解决这些问题数据库架构设计角度计算和存储分离日志下推日志和数据分离嵌入底层存储引擎应用计算型存储底层技术数据库和存储原子写计算型存储压缩算子下推最近在看一些市场上NewSQL的构建和设计思路，但其本质上都是对目前常用开源数据库在架构上的拓展以及结合新的底层通用技术（例如可计算存储）实现的优化。在面对互联网的高并发和海量数据，传统的做法是在架构层面做出一些拆解，应用拆成了数个子系统，数据库也一样拆成了数个单一的数据库实例来应对计

ClickHouse-安装篇安装前准备单机模式安装集群模式ClickHouse 的 Client 参数介绍设置用户和密码ClickHouse一些信息总结操作系统:Centos-7.7ClickHouse: YUM 在线安装，20.x官网:https://clickhouse.yandex/ 具体安装细节看:https://clickhouse.tech/#quick-start安装前准备CentOS7 打开文件数限制：在 /etc/security/limits.conf 这个文件的末尾加入一下

ClickHouse-新兴的OLAP列式数据库ClickHouse概述发展历程社区发展适用场景优缺点总结ClickHouse是一个面向列的数据库管理系统(DBMS)，用于在线分析处理查询(OLAP)。ClickHouse官网:https://clickhouse.tech/ClickHouse中文社区:http://www.clickhouse.com.cn/ClickHouse概述ClickHouse 是俄罗斯搜索巨头 Yandex 公司早 2016年 开源的一个极具 " 战斗力 " 的实时数

ClickHouse-概述及架构设计背景架构和选型分析OLAP背景俄罗斯的Yandex公司（被誉为俄罗斯的google）在2016年开源了ClickHouse。在第一届易观OLAP大赛中，在用户行为分析转化漏斗场景里，ClickHouse比Spark快了近10倍。在随后几年的大赛中，面对各类新的大数据引擎的挑战， ClickHouse一直稳稳地坐在冠军宝座上。同时在各种OLAP查询引擎评测中，ClickHouse单表查询的速度力压现在流行的各大数据库引擎，尤其是Ad-hoc查询速度一直遥遥领先，因此被

Kubernetes&Database-记录一次容器云环境Mysql启动失败的问题昨天晚上十点多运维的同事发了条信息，让帮忙协助解决某容器云项目中mysql无法启动的问题。其实导致发生该问题的原因很简单，简单到拿到日志就能找到原因，但因为不在现场沟通上存在问题，导致半个多小时才排查完。注：平台使用的存储为glusterfs。一开始看到的mysql日志如下：InnoDB: We intentionally generate a memory trap.InnoDB: Submit a d

Kubernetes-helm方式安装postgresql及pgadmin安装 helm安装postgresql安装pgadmin安装 helm这里使用脚本的方式安装#curl https://raw.githubusercontent.com/helm/helm/master/scripts/get > get_helm.sh % Total % Received % Xferd Average Speed Time Time Time Current

Kubernetes-在Caicloud容器平台Galera集群中测试导入数据平台：Caicloud Compass（才云compass容器云管理平台）mysql版本：5.7.20Galera集群信息：mysql> show status like "wsrep_cluster_size";+--------------------+-------+| Variable_name | Value |+--------------------+-------+| wsrep_

浅谈操作系统的进程通信部分对于数据库的影响进程间的通信共享内存的实现共享内存与Oracle SGA最近在温习操作系统相关的基本原理，结合以前的数据库实践，就简单说一说最基础的操作系统进程通信部分对数据库的一些影响。进程间的通信操作系统内的进程在执行时可以分为独立的或者是协作的。独立进程的含义是该进程不能影响其他进程或受其他进程影响，反之，则是协作的进程。协作进程的意义通常在于以下理由：1、加速计算：这也是计算机发展到多个处理内核和进行进程间调度的原因，充分利用cpu资源以达到加快程序处理的作用。

Database-Postgresql与Mysql的MVCC多版本并发控制原理MVCC介绍Postgresql中MVCC的实现MVCC介绍在早期的数据库理论中，一行元组上有两种锁，一种读锁，一种写锁，读会阻塞写,写也会阻塞读，这对于一个并发繁忙的系统来说代价是异常高昂的。对于传统数据库来说，为了维护数据的一致性和完整性，避免一个事务看到其它并发事务更新而导致看到不一致的数据，通常采用的是LO...

Database-Oracle-Windows操作系统下使用RMAN进行Oracle11g单实例的生产库迁移恢复一般（相同同数据库版本）流程软件版本不同的情况正式迁移恢复一般（相同同数据库版本）流程在目标数据库上安装软件原库全备复制文件到目标数据库备份集以及原库上的pfile： create pfile from spfile；根据原库pfile创建或修改没有的目录重做日志路径、控制...

首先，我们来看在Mysql中删除表时删除线程会做哪些工作。1、清除Buffer Pool缓冲在drop table时，innodb引擎会清理该表在每个buffer pool实例中中对应的数据块页面，为了避免对系统的影响，这里的清除操作并不是真正的flush，而是将涉及到的页面从flush队列中摘除。但在摘除过程中，删除进程会持有每个buffer pool的全局锁，然后搜索这个buffer po...

Database-Postgresql-Centos 7安装citus集群第一步：扩展依赖安装：第二步：安装citus源：第三步：配置postgresql源：第四步：安装citus和postgresql10、postgis2.5第五步：initialize a database第六步：Configure connection and authentication：第七步：Start databas...

Database-Mysql-XtraBackup备份实践全量备份备份阶段创建备份并授权：创建备份路径：安装xtrabackup软件：执行备份：查看备份文件：准备阶段恢复阶段增量备份备份阶段：Prepare阶段恢复阶段操作系统：ubuntu18全量备份备份阶段创建备份并授权：mysql> create user db_backup@‘localhost’ identified by...

在Mysql中，打开文件数过多会出现too many open files错误。与文件打开数有关的参数：1、max_connections 最大连接数：增加该值会增加mysqld 要求的文件描述符的数量。如果服务器的并发连接请求量比较大，建议调高此值，以增加并行连接数量，当然这建立在机器能支撑的情况下，因为如果连接数越多，介于MySQL会为每个连接提供连接缓冲区，就会开销越多的内存，所以...

Database-Mongodb的容器化实践使用官方镜像To enable free monitoring, run the following command:db.enableFreeMonitoring()使用自定义Dockerfile使用官方镜像1.使用官方镜像[root@adson ~]# docker run --name mongo-container -d mongo[r...

浅谈树的数据结构和InnoDB中的B+树索引一、树的概念二、树的相关术语三、树的遍历四、树的链表存储结构五、B+树及B树的区别一、树的概念1、树是 n(n 多 0)个结点的有限集合,一棵树满足以下两个条件:(1)当 n=0 时,称为空树;(2)当 n>0 时,有且仅有一个称为根的结点,除根结点外,真余结点分 m(m≥0)个互不相交的非空集合 T 1 ,T 2 ,…,T m ,这些集...

Database-oracle-Linux安装Oracle11g单实例1. 安装virtualbox2. 安装linux3. 调整linux系统4. 确认root身份5. 硬件配置6. rpm检查并安装7. 创建用户8. 修改内核参数9. 修改资源限制10. 创建目录11. 修改概要文件12. 使用hosts文件解析主机名13. 解压缩安装包14. 图形界面安装15. 创建监听和数据库16. 测试...

在实验环境下建议每台机器3g内存动态内存100g两块网卡：对外的public interface和私有网卡private interface，两个子网网卡1：host-only 网卡2：内部网络1. 创建虚拟机名称：node1_RAC_11gR2_rhel6u5_x64和node2_RAC_11gR2_rhel6u5_x64：2.5-4g内存，引导：硬盘+cdrom，网卡1用hos...

官网下载mysql-5.7.24.tar.gz官网–mysql community server–Looking for previous GA versions–选择源码–Generic Linux (Architecture Independent), Compressed TAR ArchiveIncludes Boost Headersadson@adson-ThinkPad-T45...

Database-Postgresql-Centos 7安装xl集群基础配置第一步：配置主机名第二步：关闭防火墙第三步：关闭selinux第四步：基础依赖包安装第五步：重启使其之前配置生效第六步： 创建postgres用户第七步：设置ssh免密第八步：将gtm节点的ssh免密文件复制到datanode存储节点第九步：开始安装postgresql-xl第十步：配置基础环境变量第十一步：使环境变量生效...

Database-Mysql-事务的隔离级别与死锁案例Mysql 的隔离级别：全局修改当前session修改死锁插入导致的死锁--GAP锁和Next-Key锁Mysql 的隔离级别：1）read uncommitted : 读未提交。读取尚未提交的数据 ：就是脏读2）read committed：读已提交。读取已经提交的数据 ：可以解决脏读3）repeatable read：可重复读。重读...