- 博客(28)
- 收藏
- 关注
RSS订阅转载 PostgreSQL 11 100亿 tpcb 性能测试 on ECS
背景PostgreSQL 11 发布在即，以下是tpcc与tpch测试的结果：《PostgreSQL 11 tpcc 测试(103万tpmC on ECS) - use sysbench-tpcc...
2018-10-09 15:01:05
682
转载 citus 系列7 - topn 加速(count(*) group by order by count(*) de
背景count(*) group by order by count(*) desc limit x用来统计 topn。topn是运营的重要指标，比如排行前10的活跃用户。...
2018-10-09 14:59:01
353
转载 citus 系列6 - count(distinct xx) 加速 (use 估值插件 hll|hyperloglo
背景在分布式数据库中，计算count(distinct xxx)，需要对distinct 的字段，1、去重，2、重分布去重后的数据，（这一步，如果distinct值特别多，那么就会比较耗时...
2018-10-09 14:57:42
678
转载 PostgreSQL pgsocket: Extension for Simple TCP/IP Socket Client
背景PostgreSQL 插件，向外部tpc/ip socket服务发生字节流。pgsocket is an extension for PostgreSQL server to send bytes...
2018-10-09 14:56:01
166
转载 PostgreSQL GUI pgadmin4 v3.3 支持 gis geometry 数据编辑、显示
背景pgadmin 4 v3.3 开始支持geometry 类型的展示。https://www.postgresql.org/ftp/pgadmin/pgadmin4/v3.3/windows/...
2018-10-09 14:54:50
564
转载 PostgreSQL 11 tpcc 测试(103万tpmC on ECS) - use sysbench-tpcc by Percona-Lab
背景环境阿里云虚拟机[root@pg11-test~]#lscpuArchitecture:x86_64CPUop-mode(s):...
2018-10-09 14:50:09
729
转载 PostgreSQL 大版本升级方法之一 - 不落地并行导出导入
背景尽量快的大版本升级的方法。一、9.4以下版本，使用pg_dump并行导出，pg_restore并行导入，迁移(导出使用源版本pg_dump，导入使用目标版本pg_restore...
2018-10-09 14:48:18
292
转载 PostgreSQL 块级 snapshot (flash back) - postgrespro improvement
背景Postgrepro提供了一个snapshot fs的功能，允许用户对数据库状态打快照，并可以在将来迅速的闪回到某个过去的快照。这个功能是通过数据库page级COW来实现的，类似ZFS文件系统的快...
2018-10-09 14:46:31
329
转载 PostgreSQL cheat functions - (内存上下文\planner内容等常用函数)
背景https://github.com/MasaoFujii/pg_cheat_funcsFujiiMasaoMasaoFujiiPostgreSQLcommitter,...
2018-10-09 14:45:24
279
转载 PostgreSQL 任意字段数组合 AND\OR 条件，指定返回结果条数，构造测试数据算法举例...
背景在进行一些实际的POC测试时，需要根据业务提出的需求构造数据，比如按照任意字段数组合 AND\OR 条件，指定返回结果条数，构造测试数据。需求表记录数A表字段数B...
2018-10-09 14:41:37
276
转载 PostgreSQL sharding : citus 系列5 - worker节点网络优化
背景citus 节点间的网络需求：1、cn节点访问所有worker节点。oltp业务的访问较频繁。2、重分布数据时，worker节点间相互访问。访问频度不大，OLAP业务常见，一旦有可能数...
2018-10-09 14:39:38
631
转载 citus 系列4 - DDL 操作规范 (新增DB，TABLE，SCHEMA，UDF，OP，用户等)
背景citus是PG的一个插件，插件主要针对普通SQL（非UTILITY）加HOOK进行了一些ROUTE处理，同时使用UDF对表进行新建分区的操作。如果用户如果要执行DDL，那么CITUS无法接管，应...
2018-10-09 14:33:44
237
转载 对齐JOIN字段类型，使用数组代替字符串，降低字符串处理开销，列存降低扫描开销...
背景Greenplum通常被用作OLAP，在一些用户使用过程中，可能因为数据结构设计，SQL问题等原因导致性能不佳，虽然通过增加节点可以解决问题，但是如果能优化的话，可以节约不少硬件资源。例如...
2018-10-09 14:31:15
155
转载 Greenplum 优化CASE
背景Greenplum通常被用作OLAP，在一些用户使用过程中，可能因为数据结构设计，SQL问题等原因导致性能不佳，虽然通过增加节点可以解决问题，但是如果能优化的话，可以节约不少硬件资源。例如...
2018-10-09 14:24:14
747
转载 相似图像搜索插件 imgsmlr 性能测试与优化 3 - citus 8机128shard (4亿图像)
背景续《PostgreSQL 11 相似图像搜索插件 imgsmlr 性能测试 1 - 单机单表 (4亿图像)》《PostgreSQL 11 相似图像搜索插件 imgsmlr ...
2018-10-09 14:21:47
444
转载 相似图像搜索插件 imgsmlr 性能测试与优化 2 - 单机分区表
背景续《PostgreSQL 11 相似图像搜索插件 imgsmlr 性能测试 1 - 单机单表 (4亿图像)》使用分区表+dblink异步接口并行调用。（内核层面直接支持imgs...
2018-10-09 14:14:33
349
转载 PostgreSQL 11 相似图像搜索插件 imgsmlr 性能测试与优化 1 - 单机单表 (4亿图像)
背景imgsmlr是PostgreSQL的一款支持以图搜图的插件，https://github.com/postgrespro/imgsmlr这个插件新增了：1、几种图...
2018-10-09 14:12:53
514
转载 相似搜索插件介绍大汇总 (cube,rum,pg_trgm,smlar,imgsmlr,pg_similarity) (rum,gin,g
背景在搜索业务场景中，相似搜索是一个非常常见的需求。PostgreSQL有很多插件、索引可以支持海量数据的高效率搜索。以下是一些案例：《Greenplum 轨迹相似(伴随分...
2018-10-09 14:10:44
1115
转载 PostgreSQL 快速给指定表每个字段创建索引 - 2 (近乎完美)
背景PostgreSQL 支持丰富的类型、索引，统计信息。不同的应用场合，数据类型，可使用不同的索引接口（btree,hash,gin,gist,spgist,brin,bloom等）达到不同的效果。...
2018-10-09 13:49:01
1599
转载 Deepgreen(Greenplum) 多机部署测试 , TPC-H VS citus
背景多机部署deepgreen，与greenplum部署方法类似。本文仅用于测试。1 环境与之前测试citus的环境一致，9台ECS虚拟机。xxx.xxx....
2018-10-09 13:44:40
362
转载 窗口函数调用限制 与 破解之法(套用gpdb执行树,分步执行)
背景窗口函数是分析场景常用的，目前(citus 7.5)仅支持两种场景使用window函数，1、partition by 必须是分布键。2、where条件里面带分布键的等值过滤条件。...
2018-10-09 13:39:04
283
转载 关于ECS 无法使用VIP的问题 - SDN , openflow
背景给ECS虚拟机配置VIP，无法通讯，原因？HOST A[root@pg11~]#ipaddrshoweth02:eth0:<BROADCAST,MU...
2018-10-08 10:55:31
434
转载 PostgreSQL JOIN limit 优化器 成本计算 改进 - mergejoin startup cost 优化
背景PostgreSQL limit N的成本估算，是通过计算总成本A，以及估算得到的总记录数B得到：(N/B)*A大概意思就是占比的方法计算对于单表查询，这种方法通常...
2018-10-08 10:53:56
378
转载 PostgreSQL bloom filter index 扩展 for bigint
背景凡是支持HASH函数，以及相等operator的类型，都可以使用bloom filter index .扩展方法见本文。原文https://obartunov....
2018-10-08 10:49:03
199
转载 PostgreSQL pg_top pgcenter - 实时top类工具
背景PostgreSQL 的统计信息、实时会话信息、操作系统状态信息等汇总，统计，展示。https://www.postgresql.org/docs/devel/static/monitorin...
2018-10-08 10:47:48
407
转载 PostgreSQL pgmetrics - 多版本、健康监控指标采集、报告
背景pgmetrics，GO写的一款PostgreSQL 多版本、健康监控指标采集、报告开源软件。https://github.com/rapidloop/pgmetrics结合p...
2018-10-08 10:45:43
812
转载 PostgreSQL PostGIS point join polygon (by ST_xxxx) - pglz_decompress 性能优化
背景在空间数据中，通常会有轨迹、点、面的数据，假设有两张表，一张为面的表，一张为点的表，使用包含 ST_xxxx(c.geom, p.geom) 来进行JOIN（例如以面为单位，聚合统计点的数量）。...
2018-10-08 10:33:38
366
转载 PostgreSQL tuple alignment padding - 对齐规则，以及如何选择字段顺序
背景PostgreSQL tuple内部有ALIGN机制，因此字段顺序选择实际上也是有讲究的，选择不好，可能因为ALIGN导致占用空间放大。src/backend/access/common/heap...
2018-10-08 10:32:15
488
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人