
postgresql tool
数据库人生
专注于数据库
PostgreSQL;Oracle 11G OCA、OCP;OceanBase V2 OBCA、OBCP
展开
-
postgresql 导出CSV格式数据
导出的文件存放在执行psql的客户端。原创 2024-09-11 13:46:29 · 1166 阅读 · 0 评论 -
pg_config
pg_config原创 2021-12-13 14:24:15 · 1319 阅读 · 0 评论 -
debezium 之九 安装debezium-connector-postgres
规划192.168.56.11 k1192.168.56.12 k2192.168.56.13 k3192.168.56.21 pg11n1192.168.56.22 pg11n2k1、k2、k3 安装debezium-connector-postgres逻辑解码使用内置的 pgoutput,需要确保 pg 参数 shared_preload_libraries 不包含 decoderbufs, wal2json安装debezium-connector-postgres# s原创 2021-11-19 17:45:10 · 2634 阅读 · 0 评论 -
debezium 之八 安装java 11
规划192.168.56.11 k1192.168.56.12 k2192.168.56.13 k3192.168.56.21 pg11n1192.168.56.22 pg11n2k1、k2、k3 安装java 11debezium 1.7 依赖 java 11安装java 11# yum install java-11-openjdk*配置java如果有多版本java,就选择 java 11# /usr/sbin/update-alternatives --con原创 2021-11-17 17:17:03 · 1143 阅读 · 0 评论 -
debezium 之七 安装pgoutput
规划192.168.56.11 k1192.168.56.12 k2192.168.56.13 k3192.168.56.21 pg11n1192.168.56.22 pg11n2主机 pg11n1 、pg11n2上安装好 postgresql 11 后,需要安装 pgoutputdebezium 需要插件 decoderbufs 或者 wal2json ,或者 pgoutput。安装pgoutput参考:https://debezium.io/documentation原创 2021-11-17 16:42:56 · 2575 阅读 · 0 评论 -
debezium 之六 安装wal2json
规划192.168.56.11 k1192.168.56.12 k2192.168.56.13 k3192.168.56.21 pg11n1192.168.56.22 pg11n2主机 pg11n1 、pg11n2上安装好 postgresql 11 后,需要安装 postgres-decoderbufsdebezium 需要插件 decoderbufs 或者 wal2json ,或者 pgoutput。安装 wal2json# yum install wal2json_11原创 2021-11-16 22:53:41 · 1706 阅读 · 0 评论 -
debezium 之五 安装postgres-decoderbufs
规划192.168.56.11 k1192.168.56.12 k2192.168.56.13 k3192.168.56.21 pg11n1192.168.56.22 pg11n2主机 pg11n1 、pg11n2上安装好 postgresql 11 后,需要安装 postgres-decoderbufsdebezium 需要插件 decoderbufs 或者 wal2json ,或者 pgoutput。postgres-decoderbufs 有如下依赖1)PostgreS原创 2021-11-16 22:45:25 · 2784 阅读 · 0 评论 -
debezium 之四 安装postgresql 11
规划192.168.56.11 k1192.168.56.12 k2192.168.56.13 k3192.168.56.21 pg11n1192.168.56.22 pg11n2主机 pg11n1 、pg11n2上安装 postgresql 11安装 yum 源# yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.n原创 2021-11-15 19:53:46 · 754 阅读 · 0 评论 -
debezium 之三 安装kafka server
规划192.168.56.11 k1192.168.56.12 k2192.168.56.13 k3192.168.56.21 pg11n1192.168.56.22 pg11n2主机 k1、k2、k3 上安装 zookeeper、kafka server创建 kafka 用户所有节点创建用户,保持 id 一致# groupadd -g 600 kafka;useradd -u 600 -g kafka -G kafka kafka;# passwd kafka#原创 2021-11-15 19:34:25 · 1758 阅读 · 0 评论 -
debezium 之二 安装zookeeper
规划192.168.56.11 k1192.168.56.12 k2192.168.56.13 k3192.168.56.21 pg11n1192.168.56.22 pg11n2主机 k1、k2、k3 上安装 zookeeper、kafka serverzookeeper 的安装参考如下:<<zookeeper 3.6.3 安装一>><<hbase 2.3.x 安装之二 zookeeper>>数据的目录要更改到 /home/原创 2021-11-12 08:59:15 · 1232 阅读 · 0 评论 -
debezium 之一 安装centos 7.6
规划192.168.56.11 k1192.168.56.12 k2192.168.56.13 k3192.168.56.21 pg11n1192.168.56.22 pg11n2主机 k1、k2、k3 上安装 zookeeper、kafka server主机 pg11n1、pg11n2 上安装 debezium、postgresql11其中 pg11n1 模拟数据生产者,pg11n2 模拟数据消费者centos 7.6 的安装就不多啰嗦了,地球人基本都会。优化项的调整可原创 2021-11-12 08:49:41 · 2578 阅读 · 0 评论 -
wal-g
os: centos 7.4db: postgresql 11.7wal-g 继承了 wal-e,同时又做了改进。可以理解为 wal-g 是 wal-e 的升级版。版本# cat /etc/centos-releaseCentOS Linux release 7.4.1708 (Core) # # # yum list installed |grep -i postgresqlpostgresql11.x86_64 11.7-1PGDG.rhel7原创 2020-05-09 09:52:25 · 905 阅读 · 0 评论 -
wal-e
os: centos 7.4db: postgresql 11.7wal-e 是一个用于执行PostgreSQLWal文件和基本备份的连续归档的程序。目前 wal-e 看上去已经不怎么维护了。版本# cat /etc/centos-releaseCentOS Linux release 7.4.1708 (Core) # # # yum list installed |grep -i postgresqlpostgresql11.x86_64 11.7-1P原创 2020-05-08 20:35:05 · 608 阅读 · 0 评论 -
xlog、wal 分析工具 wal2json
os: centos 7.4db: postgresql 10.11版本# cat /etc/centos-releaseCentOS Linux release 7.4.1708 (Core) # # # yum list installed |grep -i postgresqlpostgresql10.x86_64 10.11-2PGDG.rhe...原创 2020-04-26 09:58:45 · 2028 阅读 · 0 评论 -
pgcompacttable
os: centos 7.4db: postgresql 10.11看上去已经不维护了版本# cat /etc/centos-releaseCentOS Linux release 7.4.1708 (Core) # # # yum list installed |grep -i postgresqlpostgresql10.x86_64 10.11...原创 2020-04-24 17:20:20 · 1033 阅读 · 0 评论 -
ora2pg 之一 setup
os: centos 7.4db: postgresql 11.5db: oracle 11.2.0.4ora2pg 是 postgresql 的一个 tool,用于 oracle 迁移到 postgresql。192.168.56.110 nodepg11192.168.56.111 nodeora11g版本# cat /etc/centos-releaseCentOS ...原创 2020-04-09 19:09:44 · 429 阅读 · 0 评论 -
xlog、wal 分析工具 xlogminer、walminer
os: ubuntu 16.04db: postgresql 10.6该 blog 是 http://postgres.cn/v2/news/viewone/1/417 的实践记录.读者可以看 https://gitee.com/movead/XLogMiner 的说明.翰高公司在postgresql上还有有相当实力的.XlogMiner 是从PostgreSQL的WAL(write ahe...原创 2019-04-02 16:52:09 · 1957 阅读 · 0 评论 -
postgresql 数据库使用 flexible-freeze.py 处理 vacuum freeze
os: centos 7.4db: postgresql 10.10看 github 的更新日期,又是一个被遗弃的项目。版本# cat /etc/centos-releaseCentOS Linux release 7.4.1708 (Core) # # su - postgresLast login: Sat Oct 26 22:55:25 CST 2019 on pts/0$...原创 2020-03-18 16:26:08 · 676 阅读 · 0 评论 -
压测 tpcb pgbench 之六 source
os: centos 7.4db: postgresql 10.6使用 pgbench 做压测时,有时需要使用 -b 来指定具体的场景,如下$ /usr/pgsql-10/bin/pgbench -b simple-update@3 -b select-only@6 -b tpcb-like@1有个疑问,怎么就知道 -b 有哪些模式了 ?$ /usr/pgsql-10/bin/pgb...原创 2020-03-10 14:31:03 · 263 阅读 · 0 评论 -
perf 使用之一
os: centos 7.4db: postgresql 10.10版本# cat /etc/centos-releaseCentOS Linux release 7.4.1708 (Core) # # su - postgresLast login: Sat Oct 26 22:55:25 CST 2019 on pts/0$$ psql -c "select version(...原创 2020-03-02 16:51:47 · 365 阅读 · 1 评论 -
压测 tpcb pgbench 之五 分区表(pg_pathman)压测
os: centos 7.4db: postgresql 10.10版本# cat /etc/centos-releaseCentOS Linux release 7.4.1708 (Core) # # su - postgresLast login: Sat Oct 26 22:55:25 CST 2019 on pts/0$$ psql -c "select version(...原创 2020-02-28 16:56:19 · 412 阅读 · 0 评论 -
压测 tpcb pgbench 之四 非分区表压测
os: centos 7.4db: postgresql 10.10版本# cat /etc/centos-releaseCentOS Linux release 7.4.1708 (Core) # # su - postgresLast login: Sat Oct 26 22:55:25 CST 2019 on pts/0$$ psql -c "select version(...原创 2020-02-28 16:54:18 · 272 阅读 · 0 评论 -
pgstatspack
os: centos 7.4db: postgresql 11.5oracle 之前有个 statspack,pgsql也不能落后,同样有 pgstatspack,哈哈,前面加 pg 两个字母。最新的版本为 pgstatspack_version_2.3.1,最后更新日期为 October 16, 2011。明显已经被废弃了,不过有想法的话可以在这个基础上自己添加一些信息。现在试用下。...原创 2019-10-22 15:06:02 · 355 阅读 · 0 评论 -
压测 tpcb pgbench 之一简介
pgbench是一种在PostgreSQL上运行基准测试的简单程序。它可能在并发的数据库会话中一遍一遍地运行相同序列的 SQL 命令,并且计算平均事务率(每秒的事务数)。默认情况下,pgbench会测试一种基于 TPC-B 但是要更宽松的场景,其中在每个事务中涉及五个SELECT、UPDATE以及INSERT命令。但是,通过编写自己的事务脚本文件很容易用来测试其他情况。创建数据库$ psqlcre原创 2017-12-27 13:10:26 · 4909 阅读 · 0 评论 -
sysbench 之一 git安装
os:centos 7.4 mysql: 5.7sysbench是一个模块化的、跨平台、多线程基准测试工具,主要用于评估测试各种不同系统参数下的数据库负载情况。 在不同硬件环境或数据库,提供一个基准性能参考。下载、安装sysbench安装依赖包# yum -y install make automake libtool pkgconfig libaio-devel open...原创 2018-08-14 10:52:39 · 706 阅读 · 0 评论 -
ubuntu 16.04 + zabbix 3.4 + postgresql pg_monz
os: ubuntu 16.04 zabbix: 3.4 pg_monz: 2.1ip 规划 192.168.56.101 node1 pgsql 9.6 master 192.168.56.102 node2 pgsql 9.6 slave 192.168.56.103 node3 zabbix proxy 192.168.56.104 node4 zabbix se...原创 2018-09-10 18:20:30 · 458 阅读 · 0 评论 -
check_postgres.pl 检测数据库的健康情况
os: centos 7.4 postgresql: 10.4 check_postgres: 2.24.0check_postgres is a script for monitoring various attributes of your database. It is designed to work with Nagios, MRTG, or in standalone scri...原创 2018-08-27 19:18:21 · 1199 阅读 · 0 评论 -
pgbadger 分析postgresql 产生的日志
os: centos 7.4 postgresql: 9.1 pgbadger:9.2pgbadger 是一款分析postgresql 日志文件的开软软件。 pgBadger is a PostgreSQL log analyzer build for speed with fully detailed reports from your PostgreSQL log file....原创 2018-06-19 14:29:28 · 2655 阅读 · 0 评论 -
pgbouncer 之一 apt-get
os : debian 8.2 pgbouncer: 1.5.4 libevent: 2.0.21 libevent-dev: 2.0.21本次采用的时 apt-get 方式安装安装 libevent# apt-get install libevent-2.0-5正在读取软件包列表... 完成正在分析软件包的依赖关系树 正在读取状态信息... 完成 ...原创 2018-01-23 13:18:51 · 760 阅读 · 0 评论 -
sysbench 之二 压测postgresql
os: ubuntu 16.04postgresql: 9.6.8sysbench: 1.0.15# lsb_release -aNo LSB modules are available.Distributor ID: UbuntuDescription: Ubuntu 16.04.3 LTSRelease: 16.04Codename: xenial# su - postgr...原创 2018-09-18 15:26:39 · 1797 阅读 · 0 评论 -
压测 tpcb pgbench 之二 混合测试
os: centos 7.4db: postgresql 10.6# cat /etc/redhat-release CentOS Linux release 7.4.1708 (Core)# su - postgres -c &quot;psql -c \&quot;select version();\&quot;&quot;原创 2018-11-20 16:39:52 · 702 阅读 · 0 评论 -
压测 tpcb pgbench 之三 pgbench-tools
os: centos 7.4db: postgresql 9.6pgbench-tools 实在搜索 pgbench 时发现,特意实践了一把。都是4、5年前的更新了,估计作者已经放弃维护了。下载# yum install gnuplot python-dateutil# su - postgres$ git clone https://github.com/gregs1104/pgb...原创 2018-11-27 14:46:12 · 1115 阅读 · 0 评论 -
压测 tpcc BenchmarkSQL 之一 setup
os: centos 7.4db: postgresql 9.6BenchmarkSQL 有一些依赖,先处理好依赖参考了德哥的 https://github.com/digoal/blog/blob/master/201701/20170125_01.md安装 oracle JDK默认的是 OpenJDK,替换为 oracle JDK# /usr/bin/java -versiono...原创 2018-12-06 11:23:52 · 565 阅读 · 0 评论 -
压测 tpcc BenchmarkSQL 之二 basic pressure test
os: centos 7.4db: postgresql 9.6上一篇 blog 介绍了安装好了 BenchmarkSQL,现在开始压测配置。仔细阅读下 benchmarksql-5.0.zip 解压后 HOW-TO-RUN.txt 、 README.md 这两个文件,里面有详细的步骤。创建数据库$ psqlpsql (9.6.11)Type &quot;help&quot; for help.po...原创 2018-12-06 14:08:35 · 1375 阅读 · 0 评论 -
zheap 之一 setup
os: ubuntu 16.04zheap: 11.1zheap is a new storage format for PostgreSQL.This new storage format provides a better control over bloat, reduces the tuple size and reduces the write amplification.版本#...原创 2019-04-01 18:02:34 · 676 阅读 · 0 评论 -
pg_filedump 之一 setup
os: ubuntu 16.04db: postgresql 9.6.8Overview:pg_filedump is a utility to format PostgreSQL heap/index/control filesinto a human-readable form. You can format/dump the files several ways,as liste...原创 2019-04-19 11:10:34 · 1008 阅读 · 0 评论 -
pg_filedump 之二 -S 8192 -i -f
os: ubuntu 16.04db: postgresql 9.6.8上一篇安装了 pg_filedump,这篇文章简单介绍了如何使用.pg_filedump --help# su - postgres$ which pg_filedump/usr/bin/pg_filedump$ pg_filedump --helpError: Missing file name to du...原创 2019-04-19 15:12:50 · 955 阅读 · 0 评论 -
性能工具 gprof 之一 setup
os: ubuntu 16.04db: postgresql 10.9postgresql 使用 gprof 需要添加参数 --enable-profiling<<ubuntu 16.04 安装 postgresql 的优化设置>><<ubuntu 16.04 + apt/make + postgresql 11>>编译的时候注意添加 --...原创 2019-07-16 16:57:41 · 318 阅读 · 0 评论 -
pgbouncer 之二 make
os : centos 7.2 pgbouncer: 1.8.1 libevent: 2.0.21-4 libevent-dev: 2.0.21-4本次使用编译安装pgbouncer 1.8.1,官网的介绍如下 https://wiki.postgresql.org/wiki/PgBouncer下载pgbouncer的安装包 旧版本地址 http://pgfoundry...原创 2018-03-01 09:45:43 · 776 阅读 · 0 评论