sinat_34806137的博客

mycat版海量数据存储实现方案设计笔记

应用端sql慢查询监控、定位分析办法

mongoDB学习回顾、疑问笔记汇总

主要记录学习InfluxDB时序数据库时的部分关键知识点

选择片键需要考虑的因素：片键基数：片键基数指的是划分数据块的能力。举个例子，假如要记录一个省所有考生的高考成绩，如果以成绩作为片键进行范围分片，那存储较高成绩记录的分片的数据量必然要远远小于存储平均成绩左右记录的分片的数据量，存储数据最多的这个分片就会成为瓶颈。这时以考生的考号作为片键就更有利于数据的均匀分布。写分布：为了系统负载均衡，我们往往会期望数据均匀分布于各个分片上。如果以一个单调递增的值作为片键，那么最终数据往往只会往一个分片上写入。查询分发：同样的，大多数情况下我们也希望读操作均匀的

矢量数据库的初步认识及其用途、应用场景等学习笔记汇总

minio安装使用

使用PowerDesigner来进行数据建模的时候，表属性字段一个个输入有点太过繁琐、痛苦。有没其他的更好方式来快速进行数据建模，省去逐个数据表属性的键盘敲打出来呢。通过PowerDesigner反向工程来进行建模。

请移到公众号原文浏览

mongoDB分页查询优化设计实践背景设计原理及开发过程方式1方式2关键代码具体可详见项目背景这个是针对上一篇博客的具体实现，主要是为了解决大数据量下（比如：物联设备上报数据的查询），mongoDB采用skip() + limit()越往后翻页查询越慢的问题。设计原理及开发过程可以根据某个字段（值不重复）进行排序查询，边查询边返回下一次的查询起点，边查询边缩小查询范围，向后查询查询效率就可以越高方式1主键设计规则： _id = 设备ID + “.” + 上报时间（时间戳整数，秒为单位）。注意事

思考大数据量下的存储方案方式一mysql关系型数据库方式二mongodb + spark方式三hbase方式一mysql关系型数据库采用分库分表的方式。根据具体业务场景（按天或按月查询数据），可进行按月、天等时间方式进行分表存储，避免单表存储过大，导致查询瘫痪。至于复杂聚合统计分析等，可能需要单独开任务分析计算并存储到中间表来加速查询。方式二mongodb + sparkmongodb 可以通过分片的方式快速进行横向扩展，达到分布式存储的目的，适用物联网等海量数据的存储场景。而mongodb

前言当mongoDB存储的数据量越来越大的时候，按常规的接口查询方法显然会不行，否则导致查询过慢。应用相似点在hBase中，分页查询的时候的时候主要是按rowkey来进行查询的。存储的时候，rowkey是按字典的有序方式存储的，因此rowkey的设计成了查询的关键。业务中通常有获取最近时间的数据处理需求，这时候就可以把时间戳作为rowKey来查询。但是时间戳前面部分是相同的，在查询的时候就易造成热点现象，因此需要使用时间戳反转的方式来处理。实际生产中可以用Long.Max_Value - t

发现问题mysql对无索引字段进行排序后limit ，当被排序字段有相同值时并且在limit范围内，取的值并不是正常排序后的值，有可能第一页查询的记录，重复出现在第二页的查询记录中，导致分页结果查询错乱问题。也就是说，当排在第N行的数据可取key1、 key2 时 ， 排序结果可能是key1，也可能是key2。问题重演如上以页大小15、按发生时间event_time（不是索字段）倒序进行分页查询，第一页与第二页查询中出现大量重复记录，由此可证。具体sql:SELEC.

概述MongoDB默认占用内存比较大，如果和其他应用部署一起，足以将服务器内存快速耗尽。后果：或被系统杀死其进程或杀死系统其他进程。不论何种结果，都不是我们所愿意看到的。如何应对1、最好将MongoDB单独部署，否则易导致服务器内存不足，因其默认是按系统内存进行分配，而不考虑其他进程占用内存的情况，且本身所需内存越大越好。具体内存情况可查看其官网。从MongoDB 3.4开始，默认...