
晟数学苑数据库
文章平均质量分 69
荟萃业内名师,培养数据英才!
Sandata!
荟萃业内名师,培养数据英才!
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Mysql 8.0 OGG21C 安装使用
OGG安装环境介绍,为了节省资源OGG我选择和原库安装在了同一台服务器软件版本IP地址OGG21.3192.168.2.251Mysql8.0.11192.168.2.251Mysql8.0.11192.168.2.2521.1 解压ogg的安装包上传并解压mysql ogg安装包,无需安装解压即可使用# mkdir /ogg# unzip 213000_ggs_Linux_x64_MySQL_64bit.zip# tar -xvf ggs_Linux原创 2021-12-08 15:45:03 · 618 阅读 · 0 评论 -
PostgreSQL 跨数据库实例之间的数据访问
前言PostgresSQL 作为单示例多数据库,通常一个数据库实例会包含多个表空间和数据库,一个表空间可以存放多个数据库,在此关系中,一个表空间可以包含多个数据库,但是一个数据库只能属于一个表空间,不能跨表空间存放。而表空间是一个逻辑概念,实质上在 PostgresSQL 中,一个表空间实际上就是一个可以供安装 PostgresSQL 用户读写的目录,所以,一个数据库集簇的最大大小取决于组成数据库的这些表空间所对应目录大小的总和大小。那么这些多个数据库组成的数据库集簇可以用来隔离不同业务的数据,同时,也方原创 2021-11-29 15:40:01 · 2640 阅读 · 0 评论 -
PostgreSQL 之慢 SQL 语句
一 导读优化在硬件和非系统故障的情况下,对于提升数据库本身的性能非常重要。每一种类型的数据库都有自己不同的方式去跟踪优化数据库,这些方式中不仅仅包含了数据库系统本身参数层面的优化,而且也包括对 SQL 语句的优化。其中,对于 SQL 语句的优化是 DBA 经常需要接触的工作。因此需要经常关住慢 SQL 语句,以对其进行追踪优化。二 数据库参数PostgreSQL 中的慢 SQL 追踪是通过以记录日志的方式进行分析,追踪的,因此,需要优化 SQL 需要启动日志收集功能。以 RPM 方式安装的数据库日志收原创 2021-11-09 16:46:05 · 1883 阅读 · 0 评论 -
PostgreSQL 常见时间日期处理
前言在实际业务开发过程中,通常会遇到对时间日期相关的处理,这里列出一些常见的时间日期处理方法。1. 时间戳带时区和不带时区创建表字段时,指定带时区时间日期数据类型postgres=# CREATE TABLE tab_test(id serial,app_name varchar,app_release_date timestamp with time zone default now()); CREATE TABLE postgres=# INSERT INTO tab_test原创 2021-10-19 11:09:32 · 5745 阅读 · 0 评论 -
掌握TiUP工具 之 离线部署TiDB集群
TiDB数据库传统的单机数据库在移动互联网、云计算、大数据和人工智能等场景下表现的力不从心,为了解决数据平台的扩展性的问题,TiDB 分布式数据库应运而生。TiDB 是当今开源 NewSQL 数据库领域的代表产品之一。TiDB采用分布式数据库架构,因此服务器数量比较多。在部署TiDB集群时,我们使用TiUP工具来安装整个TiDB集群环境。 从 TiDB 4.0 版本开始,TiUP 作为新的工具,承担着包管理器的角色,管理着 TiDB 生态下众多的组件,如 TiDB、PD、TiKV 等。用户想要运行 Ti原创 2021-10-09 14:15:27 · 1656 阅读 · 1 评论 -
PostgreSQL小工具脚本
授权某个用户对所有数据库下的schema的访问权限可根据实际需求修改#!/bin/bash#Defining connection information#Default user posgres#Author:Songshaohua#Date:2020-07-08#Version:defaultfunction Usage(){ if [ $# -ne 1 ];then echo "Usage: sh $0 需要被授权的用户" exit 999原创 2021-07-12 10:49:38 · 2779 阅读 · 0 评论 -
PostgreSQL 对象管理
概述PostgreSQL 中的所有数据都存储在对应的文件中,即我们常见到的文件。这些用来存储数据的文件共同构成了 PostgreSQL 整个数据库集簇,而数据库集簇是对 PostgreSQL 中多个数据库组成的集合的称呼。而在逻辑上,PostgreSQL 所有的数据库都是隶属于某个表空间,并且单个数据库不能跨表空间,而一个表空间中可以存放多个数据库。表空间和数据库的关系属于多对多的关系。那么数据库中的数据是如何存放在数据文件中的呢?接下来一起探究。理解 oid 和 relfilenode 的关系在 P原创 2021-07-09 15:07:32 · 266 阅读 · 0 评论 -
如何对TiDB进行在线扩容
1、 检查集群状态[root@tidb ~]# tiup cluster display sandata我们发现集群里只有1个TIDB节点,根据官方手册要求生产环境最少需要两个TIDB节点所以我们进行在线扩容添加一个TIDB节点。2、 创建扩容文件scale-out-tidb.yaml这里我们复制topology.yaml文件的tidb部分内容进行修改,如果找不到topology.yaml文件也可以去官方文档查找对应的参数,将注释去掉不需要的部分也删掉,注意格式,有可能格式不对会报错,目录端口根原创 2021-07-06 10:21:52 · 849 阅读 · 0 评论 -
ora-00245报错解决方法
更多精彩内容,请登录:ke.sandata.com.cn1.发现问题最近使用备份软件对客户11G RAC数据库进行备份,发现备份失败查看日志发现数据库报 ORA-00245: control file backup failed; target is likely on a local file system错误。2.问题分析本报错出现于oracle 11.2.0.1.0及以后的版本中,应用于所有平台仅仅RAC环境会发生,因为oracle 11Gr2控制文件备份机制的改变,集群中的任何实例原创 2021-06-23 10:36:29 · 2357 阅读 · 0 评论 -
【晟数学院】PostgreSQL—greenplum使用gpcopy数据传输方案
更多精彩内容,请登录:ke.sandata.com.cn一 架构基础环境主机mdw和备机mdwbak节点对等,都采用2+4架构。1.1 主机列表1.2 CPU及内存所有节点都采用华为云服务器,CPU核心数为16核心,内存为32G,节点总数为12。主机备机都采用内部万兆网络。磁盘为单独挂载磁盘,采用高性能IO磁盘,实际最高读写性能为350M/s。1.3 计算节点和镜像节点计算节点primary数量为主备机都为24,镜像节点mirror数量为主备机都为24,总节点数量为48。1.4 数据库版本原创 2021-04-20 15:59:47 · 469 阅读 · 0 评论 -
晟数数据库技术文章-Oracle Database-别无选择时的EXP导出数据手记
更多精彩内容,请登录:ke.sandata.com.cn如今已经是Oracle Database 21c的时代了,你是否还考虑过使用EXP/IMIP这些9i中的工具呢?其实在特殊的场景中,这些看似“老的工具”,也是可以帮助你解决棘手的问题。比如:可以在数据库只读模式下,导出数据等。又或者将其应用在我下文中所描述的场景中。进入正题,某客户找到我,描述了其数据库无法启动的故障,经过分析得出数据库软件被注入了恶意的代码,导致TAB$表数据被删除,从而无法启动数据库,告警日志里面的输出如下:Errors原创 2021-02-05 11:35:16 · 139 阅读 · 0 评论 -
PostgreSQL HLL插件介绍—晟数学院
更多精彩内容:请登录ke.sandata.com.cn前言HLL是 HyperLogLog数据结构的简称。PostgresSQL通过插件的方式引入了这种新的数据类型hll。HyperLogLog是一个具有固定大小,类似于集合结构,用于可调精度的不同值计数。例如,在1280字节的hll数据结构中,它可以在很小的误差范围内估算出数百亿的不同值计数。算法hll可以被视为层次结构的不同集合/不同值计数算法的组合,并向上移动该层次结构的规则。为了区分上述描述算法,将其命名为以下:♠ EMPTY表示空集的常原创 2021-02-26 11:28:13 · 917 阅读 · 0 评论 -
Greenplum 数据同步方案—PostgreSQL技术文章晟数
更多精彩文章,请登录:ke.sandata.com.cn一、目的当前现有服务器状态为同机房两套 Greenplum 集群,节点数为 2 + 4。为满足未来灾备中心建设,需要构架高可用架构方案,以满足未来在生产系统集群出现不可恢复状态下,备用集群可以完全接管生产系统集群,以实现高可用架构。二、方案目前方案分为以下两种,一种为数据实时同步高可用方案,一种为允许数据同步有一定的延迟状态。2.1 数据实时同步高可用架构(本文省略)架构图如下(不做说明)当主机中心由于不可抗拒因素或者硬件及认为因素不可原创 2021-04-13 15:54:28 · 1689 阅读 · 2 评论 -
【晟数学院】多台机器之间一键化互信脚本实现—PostgreSQL数据库
前言在生产环境中,尤其是集群之间,为了能够使机器之间免密访问,通常需要配置ssh keys 互信,一两台机器手动也会很快处理好,但如果是多台机器,手动做互信就显得有点力不从心了,有可能还会配置错误,为了能够一键化完成自动配置,以下使用shell脚本实现自动互信过程。一、实现脚本脚本名称为:autoexssh.sh,执行脚本前需要在各个服务器上安装expect包,可以使用yum方式安装,也可以使用源码编译安装,Depend On You 。#!/bin/bash##################原创 2021-04-07 12:01:28 · 246 阅读 · 0 评论 -
【晟数学院】PostgreSQL数据库—pgweb网站工具使用
pgweb简介pgweb是用Python语言使用 Django框架构建而成。同时该网站也使用bootstrap CSS框架以及Font Awesome 图标库。pgweb中的大多数内容都是静态的HTML模板,如果需要对web页面进行编辑,只需要对 template/pages/ 目录下的内容进行编辑。安装1. 准备Python环境安装Python3.7环境./configuremake -j24make install -j24[root@pgserver ~]# python3 --ver原创 2021-03-30 10:41:30 · 871 阅读 · 0 评论 -
PostgreSQL-openGuassDB介绍及安装实践
一、openGuass介绍openGaussDB(openGauss)是华为云深度融合在数据库领域多年的经验,结合企业级场景需求,推出的新一代企业级分布式数据库,支持集中式与分布式两种部署形态。在支撑传统业务的基础上,持续构建竞争力特性,为企业面向5G时代的挑战,提供了无限可能。(来自华为云官方)。openGauss 于2019年9月19日正式开源,于2020年6月30日正式开放源代码,并成立openGuass社区。官方网站地址 https://opengauss.org。openGuass 底层框架源原创 2020-07-09 15:20:15 · 3931 阅读 · 0 评论 -
PostgreSQL中的ACID特性介绍
任何关系型数据库中,ACID 是组成数据库的重要部分,是数据库事务的一组属性,该特性目的主要确保数据库在异常情况下保证数据的有效性。数据库ACID特性A(Atomicity)原子性:事务通常由多个语句组成。原子性保证将每个事务视为单个单元,该事务要么完全成功,要么完全失败。换句话说,如果在一个事务中,任何语句都未能完成,整个事务都会失败,未完成事务中的数据条目在数据库中保持不变。一个原子系统必须保证在任何情况下都具有原子性,包括电源故障,数据库错误和实例奔溃。同时,原子性可以防止在数据库中发生部分数原创 2020-06-30 10:55:34 · 625 阅读 · 0 评论 -
PostgreSQL之SQL函数介绍及实践(二)
RDBMS作为管理数据安全,共享,可靠的软件管理系统,需要按照不同的数据模型组织和存储数据,为了方便用户处理数据,任何数据库为了简化业务开发复杂度,提供了丰富的不同数据类型的处理函数。而PostgreSQL除了支持 SQL 标准所支持的函数外,也可以使用不同的服务器编程接口来实现自定义函数,以针对不同的业务需要进行针对性开发。今天来给大家介绍一下PostgreSQL中的字符串处理函数。一、字符串处理函数1.1字符串操作符PostgreSQL对于字符串的操作符,支持关系型数据库中通用的符号 ||,用来多原创 2020-06-05 17:43:52 · 990 阅读 · 0 评论 -
PostgreSQL之SQL函数介绍和实践(一)
为了处理数据库中的业务数据,需要使用SQL函数去适当处理,通常常用的函数都内置在数据库中。但业务需求仅仅依赖于数据库内置的函数远远不够,因此一个数据库如果可以提供自定义函数来实现业务需求,对于数据库本身来说,扩展性更强。在PostgreSQL中,PostgreSQL不仅支持丰富的数据类型,也支持丰富的 SQL 函数。当在 SQL 函数中传入的参数不是 PostgreSQL 期望的数据类型,PostgreSQL 将会尝试在执行 SQL 函数之前,对传入的参数进行隐式转换。同时,PostgreSQL 也支持自定原创 2020-06-05 17:27:59 · 1144 阅读 · 0 评论 -
PostgreSQL之SQL操作符介绍及实践
操作符是数据库具有的运算特性,对文本字符和一些标签字符的处理,使用操作符可以简化SQL代码,同时也可以节省开发时间和提高开发效率。比较操作符在PostgreSQL中,所有的数据类型都可以使用比较操作符,比较操作符运算结果返回一个布尔值。即 TRUE 或者 FALSE。比较操作符为双目操作符,因此被比较的两个值的数据类型必须是相同的数据类型或者在彼此之间可以进行隐式类型转换。在PostgreSQL中,提供的比较操作符有 > 、< 、<= 、>= 、= 、<> 或者 !=原创 2020-05-25 11:48:22 · 1161 阅读 · 0 评论 -
Oracle Linux 7使用syslog来管理Oracle ASM的审计文件
如果不对 Oracle ASM 实例的审计文件目录进行定期维护那么它将会包含大量的审计文件。如果存在大理审计文件可能会造成文件系统耗尽磁盘空间或 indoes,或者由于文件系统扩展限制而造成 Oracle 运行缓慢,还有可能造成Oracle ASM 实例在启动时 hang 住。使用 Linux syslog 工具来管理 Oracle ASM 审计记录是一个很好的解决方案,通过使用操作系统的 syslog 工具来代替单独的 audit_dump_dest 目录来记录 Oracle ASM 审计记录。1、对转载 2020-05-14 14:52:37 · 589 阅读 · 0 评论 -
plpgsql系列教程—函数
函数声明通过执行CREATE FUNCTION命令,以PL/pgSQL写成的函数可以被定义到服务器中。CREATE or REPLACE FUNCTION somefunc(integer, text) RETURNS integerAS 'function body text'LANGUAGE plpgsql;PL/pgSQL是一种块结构的语言。一个块被定义为:[ <<label>> ][ DECLARE declarations BEGIN st转载 2020-05-09 13:38:23 · 1363 阅读 · 0 评论 -
PostgreSQL常用数据类型及实践
前言数据类型是编程语言中,在其数据结构上定义的相同值类型的集合以及对该相同值集合的一组操作。而数据类型的值存储离不开变量,因此变量的一个作用就是使用它来存储相同值集的数据类型。数据类型决定了如何将代表这些值的集合存储在计算机的内存中。变量一般遵循先声明后使用的原则。而在数据库中,变量就是字段,用字段来表示一组相同值类型的集合,其实也是先声明后使用的原则。PostgreSQL支持丰富的数据类型,包括一般的数据类型和非常规的数据类型。一般数据类型包括数值型,货币类型,字符类型,日期类型,布尔类型,枚举类型等原创 2020-05-09 13:23:17 · 2137 阅读 · 0 评论 -
plpgsql系列教程-变量声明与数据类型
声明变量声明变量的语法为:name [ CONSTANT ] type [ COLLATE collation_name ] [ NOT NULL ] [ { DEFAULT | := | = } expression ];CREATE FUNCTION test() RETURNS void AS $$<< outerblock >>DECLARE out...转载 2020-04-29 14:26:26 · 2929 阅读 · 0 评论 -
Redhat 7.6 & RAC 12.2:CLSRSC-400
异常描述环境描述• 系统:Redhat 7.6• RAC:12.2.0.1问题描述 当我们在静默安装GRID后,运行root.sh脚本时,会报出如下异常异常输出2020/04/18 05:01:17 CLSRSC-594: Executing installation step 14 of 19: 'InstallACFS'. CRS-2791: Starting s...转载 2020-04-24 11:51:08 · 588 阅读 · 0 评论 -
Postgresql——WAL(Write-AHead Logging,预写式日志)
WAL——Write-AHead Logging,预写式日志1.目的:保证数据库的可靠性2.概述Write-AHead Logging即WAL是一套保证数据完整性的标准。简要地说,WAL中心概念是数据文件(这里涉及到表和索引)修改必须在这些动作被记录之后,即 描述这些修改操作的日志记录被刷到永久存储中。如果我们遵循这个过程,我们不需要在每次事务提交时刷数据页到磁盘,因我我们知道一旦发生崩溃...转载 2020-04-21 11:43:59 · 334 阅读 · 0 评论 -
PL/pgSQL之入门
PL/pgSQL介绍plpgsql入门,介绍使用它有哪些优点以及一个HelloWorld。PL/pgSQL是一种用于PostgreSQL数据库系统的可载入的过程语言。可以被用来创建函数和触发器过程对SQL语言增加控制结构可以执行复杂计算继承所有用户定义类型、函数和操作符可以被定义为受服务器信任便于使用优点客户端和服务器之间的额外往返通信被消除客户端不需要的中间结果不必被...转载 2020-04-17 15:51:43 · 1032 阅读 · 0 评论 -
针对ORA-01111, ORA-01110, ORA-01157的处理
异常在从库发现DG同步有延迟时执行recover失败,后台日志会报如下异常:解决根据源端地址和本地数据文件存放路径,整理语句如下:alter system set STANDBY_FILE_MANAGEMENT='MANUAL' scope=both;alter database rename file '/data/app/oracle/product/11.2.0/dbhome_1...转载 2020-04-16 13:19:03 · 628 阅读 · 0 评论 -
Oracle Database 19c 技术架构(五)
24.归档进程 (ARCn)归档进程 (ARCn) 是后台进程,仅当数据库处于ARCHIVELOG模式并启⽤⾃动归档时才存在,在这种情况下ARCn会⾃动归档联机重做⽇志⽂件。⽇志写⼊进程 (LGWR) 在归档之前不能重⽤和覆盖联机重做⽇志⽂件组。数据库将根据需要启动多个归档程序进程,以确保已填充的联机重做⽇志的归档不会落后。可能的过程包括 ARC0-ARC9 和 ARCa-ARCt(31个可...原创 2020-04-14 16:27:28 · 357 阅读 · 0 评论 -
Oracle Database 19c 技术架构(二)
06、共享池(shared pool)共享池是系统全局区 (SGA) 的组成部分,负责缓存各种类型的程序数据。例如,共享池存储已解析的SQL,PL/SQL代码,系统参数和数据字典信息。共享池⼏乎涉及数据库中发⽣的每个操作。例如,如果⽤户执⾏SQL语句,则Oracle数据库将访问共享池。共享池分为⼏个⼦组件:•库⾼速缓存 (Library cache):是⼀种共享池内存结构,⽤于存储可执⾏的...原创 2020-03-27 17:38:54 · 629 阅读 · 0 评论 -
Oracle Database 19c 技术架构(一)
Oracle官方文档中给出的Oracle Database 19c技术架构图,可以看出制作者的用心和精心。不翻译一下真是对不起作者!同时本文可以作为学习Oracle体系结构很好的教材!值得大家收藏!01、数据库服务器(Database Server)一个Oracle数据库至少由一个数据库实例和一个数据库组成。数据库实例部分处理内存和进程,数据库部分则由称为数据文件的物理文件组成,并且可以是...原创 2020-03-27 17:32:58 · 980 阅读 · 0 评论 -
Postgresql实战经验之alter table 开小差了
Postgresql实战经验之alter table 开小差了今天需要将一张有数据的表中一个字段varchar 类型转换为timestamp类型,但是pg的alter table 语句却开小差,出现了两种问题,翻了pg10.5中文手册、很多博客文档,做了对比实验,哎,可谓费了九牛二虎之力才解决问题。1.alter table 修改表定义(DDL操作)官方文档关于alter table 的用法...转载 2020-03-24 14:26:52 · 561 阅读 · 0 评论 -
关于ORA-00603 ORA-27504 ORA-27300 ORA-27301 ORA-27302报错的处理
现象描述环境:Oracle 11.2.0.4 RAC+Redhat 7.6发现异常异常查看后台日志显示如下解决参考mos:Oracle Linux: ORA-27301:OS Failure Message: No Buffer Space Available (Doc ID 2041723.1)一、修改网络配置修改配置文件root@rac16821:/root #vi /...转载 2020-03-19 16:32:54 · 1791 阅读 · 0 评论 -
深入了解控制文件
实验步骤控制文件是一个二进制文件,为了查看其内容,我们可以通过oracle命令转储出来进行查看(以下命令来自oracle 19c):SQL> alter session set events 'immediate trace name controlf level 8'; Session altered. SQL> select value from v$diag_info...转载 2020-03-17 16:18:10 · 676 阅读 · 0 评论