
数据库
文章平均质量分 81
pushiqiang
学习分享
展开
-
MySQL MERGE存储引擎简介及用法
MERGE存储引擎把一组MyISAM数据表当做一个逻辑单元来对待,让我们可以同时对他们进行查询。构成一个MERGE数据表结构的各成员MyISAM数据表必须具有完全一样的结构。每一个成员数据表的数据列必须按照同样的顺序定义同样的名字和类型,索引也必须按照同样的顺序和同样的方式定义。假设你有几个日志数据表,他们内容分别是这几年来每一年的日志记录项,他们的定义都是下面这样,YY代表年份:转载 2017-09-08 16:12:11 · 462 阅读 · 0 评论 -
mysql 主从配置详解(windows<->ubuntu)
mysql master-slave configuration;mysql 主从配置详解(超简单)Mysql内建的复制功能是构建大型,高性能应用程序的基础。将Mysql的数据分布到多个系统上去,这种分布的机制,是通过将Mysql的某一台主机的数据复制到其它主机(slaves)上,并重新执行一遍来实现的。复制过程中一个服务器充当主服务器,而一个或多个其它服务器充当原创 2016-02-11 22:48:50 · 1701 阅读 · 0 评论 -
mysql千万级大数据SQL查询优化
1.对查询进行优化,应尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断,否则将导致引擎放弃使用索引而进行全表扫描,如:select id from t where num is null可以在num上设置默认值0,确保表中num列没有null值,然后这样查询:select id fro转载 2017-09-08 14:37:36 · 581 阅读 · 1 评论 -
cassandra基本概念(连接池、分页查询)和使用实践(python)
cassandra基本概念和使用实践(python)基本概念Builder ≠ Cluster ≠ Session ≠ Connection ≠ StatementCluster.Builder:用于配置和创建集群Cluster:操作集群,控制连接节点和一些属性,项目中只需要定义一个Cluster 四种Retry重试策略(对数据库的操作失败后的重试)DefaultRetryPolicy没有查询到数据,或者写入时超时的情况下进行重新查询DowngradingConsistencyRetr原创 2020-10-16 11:19:14 · 2044 阅读 · 1 评论 -
sanic下通过信号(blinker)创建cassandra的表索引
Cassandra是一套开源分布式NoSQL数据库系统,具有很高的写效率,而查询却不像关系型数据库那样可以通过任意字段过滤查询,虽然其有index功能,但相比关系型数据库的index并不高效.对于cassandra来说,额外的写入可以让你改进读的性能,这一般是一种好的设计,相比些读取是一种更昂贵并且更困难的东西。因此官方提倡:你的数据结构应该适应你的查询语句,而不要依据关系来设计模型.当我们需要对某原创 2017-12-02 23:33:01 · 584 阅读 · 0 评论 -
关于在uwsgi server中出现cassandra超时问题的解决
关于在uwsgi server中出现cassandra超时的问题ref:http://stackoverflow.com/questions/30846525/cassandra-rises-operation-time-out-in-uwsgi-server在nginx+uwsgi+cassandra的环境下,出现了uwsgi超时问题,解决方法如下:修改wsgi.py文件"""WSGI conf翻译 2017-04-02 20:58:35 · 1166 阅读 · 0 评论 -
mysql树形结构查询子节点
查询所有子节点需求:在树形的节点关系下,比如菜单树或者文件目录树,要想获取某个节点的所有子节点,或者所有父类节点,在知道节点树最大层级的情况下id, parent_ideg: 已知节点树深度不超过10, 查询所有子节点如下select org.id as id, concat('[', concat_ws(',', group_concat(distinct ...原创 2019-11-18 10:25:06 · 1428 阅读 · 0 评论 -
探讨select in 在postgresql的效率问题
这篇文章主要介绍了探讨select in 在postgresql的效率问题 的相关资料,需要的朋友可以参考下在知乎上看到这样一个问题:MySQL 查询 select * from table where id in (几百或几千个 id) 如何提高效率?修改电商网站,一个商品属性表,几十万条记录,80M,索引只有主键id,做这样的查询如何提高效率?select * from table where.........转载 2018-04-27 21:14:14 · 4081 阅读 · 0 评论 -
数据库分页技术大全(超级经典)
1.mysql--记住mysql中limit后是从零开始的主体格式如下:select * from tablename limit m,n--比如要查第6行到第20行select * from tablename limit 5,15右边两种写法等价: select * from table limit 1转载 2016-04-13 16:37:44 · 3752 阅读 · 0 评论 -
Django数据库连接池(mysql)
都知道django每次请求都会连接数据库和释放数据库连接。Django为每个请求使用新的数据库连接。一开始这个方法行得通。然而随着服务器上的负载的增加,创建/销毁连接数据库开始花大量的时间。要避免这个,你可以使用数据库连接池,这里使用SQLAlchemy的连接池。使Django持久化数据库连接。但这种方法会改变django的代码。对框架有侵入方法 1实现方法如下: 把django/db/bac...............原创 2016-04-14 16:40:08 · 14530 阅读 · 0 评论 -
(Django)对object.all()等大量数据的QuerySet限制内存使用
问题在django的使用中,经常会出现大量数据的遍历操作,或者是对大量数据进行遍历迁移跟新,比如for user in User.objects.all(): user.A = user.B User.B = None等种种情况。在本地开发环境中QuerySet对象最初具有非常小的内存占用,随着业务量的增长QuerySet对象在我遍历它们时缓存每个model_instance,all翻译 2017-06-06 18:54:20 · 4193 阅读 · 3 评论 -
flask/django 动态查询表结构相同表名不同数据的Model实现
1.问题为了控制数据的增长,经常需要分表,数据库中存在多张结构相同,表名相关的表,如: table_201706 table_201707 table_201708怎么通过SQLAlchemy 或者django查询相关的数据表,而不用每次都创建Model呢2.解决方法分别在flask和django下实现,代码如下2.1 flask+sqlalchemy# -*-coding:utf-8cla原创 2017-08-29 10:54:00 · 2954 阅读 · 3 评论 -
Cassandra二级索引原理
转自: https://www.cnblogs.com/bonelee/p/6278943.html1.什么是二级索引?我们前面已经介绍过Cassandra之中有各种Key,比如Primary Key, Cluster Key 等等。如果您对这部分概念并不熟悉,可以参考之前的文章: [Cassandra教程] (四)使用Key的正确姿势 对于Cassandra来说,一级索引就是Primary Ke...转载 2017-12-03 21:07:23 · 3651 阅读 · 0 评论 -
PostgreSQL两种分页方法查询时间比较
数据库中存了3000W条数据,两种分页查询测试时间--------------------------------------------------------第一种SELECT * FROM test_table WHERE i_id>1000 limit 100;Time: 0.016s第二种SELECT * FROM test_table limit 100 OFFSET 1000...转载 2018-04-27 21:16:51 · 2063 阅读 · 0 评论 -
数据库SQL优化大总结之 百万级数据库优化方案
网上关于SQL优化的教程很多,但是比较杂乱。近日有空整理了一下,写出来跟大家分享一下,其中有错误和不足的地方,还请大家纠正补充。这篇文章我花费了大量的时间查找资料、修改、排版,希望大家阅读之后,感觉好的话推荐给更多的人,让更多的人看到、纠正以及补充。 1.对查询进行优化,要尽量避免全表扫描,首先应考虑在 where 及 order by 涉及的列上建立索引。2.转载 2016-04-12 17:08:53 · 368 阅读 · 0 评论