
地理大数据
文章平均质量分 77
qingyafan
分享云原生、GIS相关技术
展开
-
PostgreSQL - citus如何实现高可用,处理单点故障
目录1. worker节点故障1.1 PostgreSQL的流式复制1.2 Citus的分片复制2. Coordinator节点故障3. 总结号外:Citus发布了8.x版本,支持PostgreSQL11。Citus适合存放数据量较大的情形,不上亿的数据往Citus中存意义并不大,更适合放单节点。而存储如此大量的数据,如果不做好数据备份或者高可用,数据丢失产生的后果...原创 2019-01-15 20:01:30 · 3552 阅读 · 0 评论 -
PostgreSQL - 地理数据索引之争:GIST VS R-tree
目录GIST索引GiST原理R-tree索引R-tree原理 GiST VS R-tree创建时间支持的操作效率之争本文主要针对的是地理数据,地理数据的特点是具有二维或三维的坐标数据,且都是基于PostGIS扩展对地理数据的操作来说的。空间索引是空间数据库的关键所在,空间索引强,空间数据库支持大规模的数据才有意义,可以说空间索引的好坏决定了数据库的强弱。...原创 2019-02-01 22:09:49 · 5287 阅读 · 3 评论 -
PostgreSQL - Citus集群性能调优建议
调优思路Citus本身是一主多从的结构,Coordinator只负责协调分配任务,并不会处理实际的查询,Worker负责执行Coordinator分配的子查询任务,每个Worker本身就是一个完整的PostgreSQL环境,因此,提升Citus集群的性能就分为两部分:调优Coordinator制定执行计划的效率; 调优各个Worker执行的效率,跟调优单节点PostgreSQL无异。默...原创 2019-02-15 08:05:37 · 2493 阅读 · 0 评论 -
PostGIS - st_makeline由点生成线需要注意点的顺序
st_makeline是由点生成线的函数,它根据输入的点拼接成线,不会理会点的顺序,顺序是随机的?(随机读取?),所以同一个点数据集,每次都会得到不一样的结果。想保证生成的结果始终一致,需要预先将传入的点按照一定的规则排序。...原创 2019-02-18 17:35:32 · 2953 阅读 · 0 评论 -
PostgreSQL - citus从入门到放弃,不是标题党
不知道这样的标题会不会被微软警告,最近,微软收购了 ? 年历史的 CitusData 公司,而我这里却要说Citus的不好?其实不是的,Citus确实有它适合的场景,但是,就像之前文章提到的,它也有不适合的场景,而我平时工作的很多需求就在不适合的场景之列。这里咱们复习一下Citus是什么?主要做什么?适合做什么,不适合做什么?Citus是什么?主要做什么?Citus是PostgreSQ...原创 2019-03-02 16:32:00 · 13422 阅读 · 2 评论 -
PostgreSQL - 让PostGIS用上PostgreSQL的并行
为啥放一张佩奇?它的真实面目其实是汽车里的涡轮,涡轮增压可以让小排量的发动机有大排量发动机的爆发力。佩奇都已经配送了涡轮,号称”涡轮猪“,PostgreSQL怎么能不跟跟时尚。postgresql中,并行计算就是涡轮,利用好并行计算,你的postgresql就是涡轮增压postgresql了,无痛享受数倍加速!怎么样,这个类比是不是有点尴尬,但话糙理不糙,总之,用并行计算为你的查询加速吧!...原创 2019-03-07 07:58:22 · 863 阅读 · 0 评论 -
PostgreSQL - PostgreSQL/PostGIS 性能调优
1、优化资源占用无法对服务器环境预估,所以PostgreSQL配置中参数都比较保守,不是对服务器资源量身定制,都默认是最小。其中两个参数,根据服务器实际资源情况调整会对性能影响很大:shared_buffers,缓存查询过程中的临时数据,内存的1/4比较合适,默认128M; work_mem,sort和hash表操作需要占用的内存,不够用时,会向磁盘中写文件,磁盘的性能和内存相差可不少,...原创 2019-03-13 08:21:58 · 2398 阅读 · 0 评论 -
GIS - 底图,怎么做怎么选择
底图往往是一些基础信息,比如行政区、街道、水系,它们变动较少,一般放在图层最下方。底图一般使用栅格瓦片,栅格瓦片有其自身局限性:地理信息内容改变,栅格瓦片无法做到实时更新。栅格瓦片需要预生成,生成以后不能改变,如果地理信息有变动,那么需要重新生成瓦片 样式改变,如果需要不同样式的底图,需要额外生成一份瓦片。不同样式,存储多份相同的数据。于是矢量瓦片的概念被提出,矢量瓦片也是瓦片,是矢量,在...原创 2019-04-27 18:38:38 · 3951 阅读 · 0 评论 -
PostgreSQL - 主从热备:可以分担主库流量,还能备份
常见的PG备份有三种方式:定时pg_dump,定时备份文件,还有基于WAL的备份,它们各有优劣,这篇文章我就对比一下这三种方法,总结一下三种的概念、做法,以及适合的场景。概念“pg_dump”很容易理解,对数据库定期使用pg_dump备份; “定时备份文件”,对数据库对数据目录进行备份; WAL是“write ahead log”的简称,pg中每个操作都会产生WAL,我们可以利用WAL...原创 2019-06-03 19:54:55 · 962 阅读 · 0 评论