研究与专注

常见的PG备份有三种方式：定时pg_dump，定时备份文件，还有基于WAL的备份，它们各有优劣，这篇文章我就对比一下这三种方法，总结一下三种的概念、做法，以及适合的场景。概念“pg_dump”很容易理解，对数据库定期使用pg_dump备份； “定时备份文件”，对数据库对数据目录进行备份； WAL是“write ahead log”的简称，pg中每个操作都会产生WAL，我们可以利用WAL...

1、优化资源占用无法对服务器环境预估，所以PostgreSQL配置中参数都比较保守，不是对服务器资源量身定制，都默认是最小。其中两个参数，根据服务器实际资源情况调整会对性能影响很大：shared_buffers，缓存查询过程中的临时数据，内存的1/4比较合适，默认128M； work_mem，sort和hash表操作需要占用的内存，不够用时，会向磁盘中写文件，磁盘的性能和内存相差可不少，...

不知道这样的标题会不会被微软警告，最近，微软收购了 ？ 年历史的 CitusData 公司，而我这里却要说Citus的不好？其实不是的，Citus确实有它适合的场景，但是，就像之前文章提到的，它也有不适合的场景，而我平时工作的很多需求就在不适合的场景之列。这里咱们复习一下Citus是什么？主要做什么？适合做什么，不适合做什么？Citus是什么？主要做什么？Citus是PostgreSQ...

目录1. worker节点故障1.1 PostgreSQL的流式复制1.2 Citus的分片复制2. Coordinator节点故障3. 总结号外：Citus发布了8.x版本，支持PostgreSQL11。Citus适合存放数据量较大的情形，不上亿的数据往Citus中存意义并不大，更适合放单节点。而存储如此大量的数据，如果不做好数据备份或者高可用，数据丢失产生的后果...

目录1. 实际问题可能的解决方案2. Citus是什么Citus的特点3. 建立集群3.1 让Coordinator知道有Worker的存在3.2 迁移数据4. 测试性能导入数据与数据分布缓冲区操作处理时间不涉及汇总的操作3. 总结1. 实际问题实际业务中，会有非常大的地理数据集的存储需求，比如全世界的点状POI，数据量级已达亿级别，存储在单...

目录DBSCAN是什么？PostGIS中实现的一个聚类算法，可根据密度对要素进行聚类，该方法使用的是“DBSCAN”算法。DBSCAN是什么？“DBSCSN”并不是扫描数据库（scan database），而是“Density-based spatial clustering of applications with noise”的缩写，基于密度的空间聚类算法，适用于含有噪声数据的...

目录GIST索引GiST原理R-tree索引R-tree原理 GiST VS R-tree创建时间支持的操作效率之争本文主要针对的是地理数据，地理数据的特点是具有二维或三维的坐标数据，且都是基于PostGIS扩展对地理数据的操作来说的。空间索引是空间数据库的关键所在，空间索引强，空间数据库支持大规模的数据才有意义，可以说空间索引的好坏决定了数据库的强弱。...

st_makeline是由点生成线的函数，它根据输入的点拼接成线，不会理会点的顺序，顺序是随机的？（随机读取？），所以同一个点数据集，每次都会得到不一样的结果。想保证生成的结果始终一致，需要预先将传入的点按照一定的规则排序。...

调优思路Citus本身是一主多从的结构，Coordinator只负责协调分配任务，并不会处理实际的查询，Worker负责执行Coordinator分配的子查询任务，每个Worker本身就是一个完整的PostgreSQL环境，因此，提升Citus集群的性能就分为两部分：调优Coordinator制定执行计划的效率； 调优各个Worker执行的效率，跟调优单节点PostgreSQL无异。默...