MySQL大战SQLite(PostgreSQL强势乱入)

一文带你了解三大开源关系型数据库:SQLite、MySQL和PostgreSQL 一文带你了解三大开源关系型数据库:SQLite、MySQL和PostgreSQL。 阅读详情

本文转自 http://obmem.com/?p=493

-1.本文很长

一不小心就写了老长,本文主要是关于MySQL,SQLite和PostgreSQL在我的特殊应用中使用想法和总结。MySQL部分是上个月的实践,PostgreSQL和非数据库解决方案是我这几天的心得。
`
本文努力地比较了MySQL内存数据库和SQLite数据库在特定应用下的优劣,MySQL一般数据库?它太笨了所以被我放弃了。随后兴头所至干脆加入了PostgreSQL和非数据库解决方案。
`
本文的结论是非数据库解决方案>PostgreSQL>SQLite~MySQL内存方案,P在个方面都要要好于S,但差距不大,而S和M则互有优劣,在此应用中我更偏向于S。
`

0.缘起

前一阵发过一文,愤恨地对MySQL的Select+Limit性能提出质疑。全文除了一些测试数据外,大部分抱怨其实只是阐述了如下一个事实:MySQL的order by语句不使用索引;limit分页性能很差;所以MySQL总体性能很差。

`

我个人因为这次数据测试而对SQLite极度推崇,然而上个月发生了几起事故,使得我对SQLite愈发不满起来。

`

事情是这样的,SimpleCD网站架设起来以后,有了一个意想不到的功效:VeryCD自从去年末的广电许可证风波后,日益和谐化,不停地删贴,电影,电视剧,删得非常之勤快;而SimpleCD则成了意外的抢险队员,相当大部分的资源索引被抢救了下来,如果说VeryCD变为“全年龄版”了的话(误),SimpleCD等若变相成为了“18X版”(大误)。举个例子好了,这两天网站近1/5的流量都是“2010春节联欢晚会”带来的,因为VC把春晚的资源都删了,只让发几个小品。其他的例子还有2012,avatar等等。

`

总之,自从有了SimpleCD以后,因为访问速度和搜索速度快很多,而且搜索结果直接包含VeryCD的结果,我找电驴的资源就直接上SimpleCD而不去VeryCD了。但是当时SimpleCD介绍没有图,资源没有评论,界面又很丑(现在也好不到哪里去就是了@.@),往往找到了还是得链到VeryCD去看看评论和介绍。所以自然而然地,我就打算要改进SimpleCD了。

`

—-话说,缘起好长,再话说,以上不是广告啊不是广告。再再话说,缘起部分还有一半—-

`

终于说到正题了,在改版中,遇到了一些问题,最严重的莫过于数据库损坏错误。那时SimpleCD的流量每天大概也有5000PV,加上有不少人用搜索功能,其实会把数据库锁住一阵,不让写;然后后台有爬虫进程在不停地更新数据,也会锁住数据库;最严重的是,因为需要加入新功能,所以要抓一些以前没有抓的数据,这个爬虫需要几乎时刻不停地写数据库,是导致悲剧发生的最重要原因。

`

以上这些进程全部都是多线程的,SQLite难免就会有长时间处于锁状态的时候,好死不死我又在调试SimpleCD发布资源的代码,需要解锁,我就很流氓地杀掉锁住的进程。几次之后,悲剧发生了,网页瘫痪,显示database is malformed。还好有备份,于是恢复,重抓,折腾一阵,搞定。过了一阵,又悲剧了,再来。。。

`

以上悲剧不断重演,导致我最后干脆写了个solve_mal.py的脚本,每次出问题就:啊拉,Tea Time了么,然后非常潇洒地输入python solve_mal.py,泡茶闲逛去了。

`

平心而论,SQLite的并发能力要比我想象的更为出色,要不是升级数据库,这种问题应该即使在50WPV的情况下也不会出现,远远好于我原本的预期。而这个问题应该更类似于一个处理机制上的bug。因为就算进程被终止,也不应该把数据库给写坏了啊,这不是并发问题了,而是严重地数据安全问题了,试想假如不是杀进程而是断电怎么办?数据库就活该损坏吗?显然SQLite的设计者无论如何也想不到会有每半小时把后台运行的数据库程序杀掉重开的变态存在,又或者没有考虑到断电的数据保护,所以疏忽了吧。

`

如此一来对SQLite愈发不满起来,再加上想试试WSGI(因为不知为何FCGI占了我好多内存,而且spawn-fcgi一天到晚内存泄漏,我每隔一个小时就要kill掉spawn-fcgi重新spawn一下,不然最夸张的时候不出4小时他们就会吃掉所有内存让网站瘫痪。),而不论是nginx的mod_wsgi还是apache的mod_啥来着,对wsgi+web.py+sqlite的组合都有古怪的bug,sqlite数据库只能读不能写,这都是啥破事啊,太ft了,我一度打算换django,因为那时候自己处理页面缓存的架构痛苦不堪,不过wsgi+django也有sqlite数据库只读的怪事,所以就暂时搁下了。

`

于是虽然很烦恼MySQL的低性能,但是那不是因为我数据结构不好么,再加上怀疑SQLite”作弊”地利用了内存才获得了高性能。反正mysql是后台程序,基本上几百年都不会关的,我让在初始化运行的时候生成一个搜索用的动态内存数据库不就解决性能问题了么?

`

以上,缘起结束。

`

1.MySQL的数据库结构优化

要使MySQL版本的SimpleCD跑起来,做大手术是必不可少的。首先要优化数据结构,其次要换用内存数据库,这时候我做了一个猜想。

`

猜想一:MySQL自动对text类型做了压缩处理,这才是搜索性能低下的原因。

`

这段时间断断续续看了一点MySQL的东东,首先抱怨一下他的文档,这是我见过的最混乱的文档,文档做得差到这个地步也不容易了。看文档无比地累,往往看完文档一头雾水,相关链接又链到完全不相关的地方,不得不google到别人的博客看别人的经验。我不要求做到像python的文档那么赞,你好歹也做到像你的同类型的sqlite的文档那样吧?真是的。

`

本来这种猜想只要到官网查查文档就能验证了,可是我楞是在文档区兜了半天圈子没有发现相关的内容,所以没办法了,还是继续猜想,说到压缩,因为MySQL的数据类型非常之多,什么CHAR,VARCHAR的;而sqlite就只有text了,以至于在sqlite中我根本就没有意识到不同的文本类型的处理方式可能会是不一样的。(请尽情吐槽我对数据库的无知好了,我本来还以为数据库数据类型就只有像sqlite那样的null,text,integer,real,blob这几种呢)。好的,那么改进一就是把标题等TEXT类型改成VARCHAR类型

`

猜想二:MySQL不用索引也是因为数据类型的原因,MySQL认为数据库的设计者不会愚蠢到用text类型来做order by,因为他们根本不会想到会有人把日期写成text保存起来,而不是专门的date类型或者int/real类型。

`

555,sqlite里面没有date类型啊,我当时也考虑过要不要转int,后来觉得转为int存还要去查mktime,strptime,gmtime等一堆乱七八糟的函数的用法,而且转来转去很麻烦。再加上觉得也就20W的数据量,二叉树的话也就是10多次的比较的事情,10多次integer比较能比10多次长度为20的字符串比较快多少秒?恐怕得用纳秒来记了吧。虽然我写程序时经常斤斤计较这个那个的,不过在明显IO-bound的这种应用里面,我还真是懒得去花时间优化这个。真不知道是我想太多了还是MySQL想太多了,反正结果就是,MySQL很可能默认了text做order by就是不用索引,MySQL就是逮到一切机会用filesort,效率怎么低怎么来。

`

猜想三:MySQL因为嫌弃我的数据表太臃肿,而没有全部载入内存进行比较。

`

因为我就一个表,而一般的设计都是大块头的东东另外放一个表,什么标题,类别等可以用char限定字符个数的东东放一个表,这样的话用作索引显示的表的大小就小了,而表小的话显然好处是很多的,比如可以允许更为频繁的读写等。(因为要写入的数据少了,那么锁住表的时间也会显著减少)惭愧,我一开始设计的时候尽想着偷懒和简单,没有想过规模变大的问题,所以才有这种问题。不过没事,现在反正重新搞数据库了,再加上要弄个内存表,到时候你MySQL就算真是filesort魔,你也是在内存里面filesort,逃不出我的五指心。

`

全部改动:

`

分析了半天,痛定思痛,最终我敲定了改动方案,就是如上所述的,内存表+数据类型的改动。
`

2.MySQL的逆袭

期待已久的MySQL的逆袭终于来了,扛起MEMORY大旗,装备VARCHAR利器,启用日期INT,面对如此犀利的MySQL娘,SQLite娘该如何抵挡呢?(什么?我这个为什么是百合大战?那当然是因为百合美啊)

`
创建内存表:create table memcd (id bigint primary key,title varchar(255),updtime integer) engine=memory;
修改内存表上限my.cnf,默认的16M不够用: max_heap_table_size = 128M
迁移内存表:我写了个python的脚本干这事

然后在建立索引,因为memory表默认用hash索引,所以我们得申明用btree的索引
mysql> create index updtidx on memcd (updtime) using btree;
Query OK, 243819 rows affected (1.15 sec)
Records: 243819 Duplicates: 0 Warnings: 0
`
结果,猜想二得到验证,mysql用了index
mysql> explain select * from memcd order by updtime limit 10,1; (Key:updtidx)
`
但是一定要有limit,而且limit的数据不能太大,一旦分页很大时MySQL又变身为filesort魔王了
mysql> explain select * from memcd order by updtime limit 20000,1; (Extra:Using filesort)
`
等到做like的时候,又是filesort魔王了
explain select * from memcd where title like ‘%7%’ order by updtime limit 20000,1;(Extra: Using filesort)
`
不管了,反正都在内存里面玩,你应该会快点了吧?果然在查找不存在的数据时,MySQL争气地跑了0.19多, 可是在查找搜索结果很多时,MySQL的分页性能又给自己找麻烦了,select * from memcd order by updtime desc limit 240000,20;这种语句都执行了0.36秒,除非我禁止查看最后一页,否则要解决这个问题可是非常的麻烦。问题是MySQL用了内存数据库跑到0.19的代价是吃掉了我128MB的内存,相比SQLite来说才快了1倍不到点,这是在我的电脑上的结果,在服务器上差距还要小一点,内存更为吃紧一点;再加上还有分页慢的bug,从用户体验上来说可能更为得不偿失:毕竟0.2秒和0.1秒的搜索时间差距可能很难察觉,可是0.04秒和0.4秒的翻页差距可是很明显的。而且从统计数据来看,翻页也是经常性行为。虽然说很大一撮都是各种搜索引擎在翻页,可挡不住人多啊,要是每个都0.4这样下去,只要有超过3个人同时翻页网站就卡成一坨,一想到这就雷到不行,这怎么挡得住@.@
`
三个猜想除了猜想二稍微有点准头外几乎全灭,limit很慢的问题还是没有解决,消耗掉的内存过于庞大(真不知道它怎么用的,我算算应该不需要那么128M那么多内存才对,后来测试SQLite表明,只需要55M左右就够了),MySQL的这次逆袭可谓失败多过成功,略微提升了一点搜索速度(都内存数据库了再不提高就好去死了),但是代价高昂,内存消耗过大+分页性能照旧很差。再有一个问题就是内存数据库的数据一致性问题,主力数据库必然还会是硬盘数据库,那么每次数据库操作都要做双份的,还必须不时做同步检查,以防mysql重启后数据库丢失。仔细算算,收益抵不上造成的麻烦啊。
`

在经过一番挣扎,MySQL娘交出了一份just so so的答卷,我对其表现比较不满,就这样的状况我实在无法决定改用MySQL。
`

3.PostgreSQL的乱入

兔死狐悲,作为更为老牌的数据库,PostgreSQL一直和MySQL一起被人们视作开源数据库的两大领军人物,似乎MySQL因为各种讨人欢喜的易用小功能而更受欢迎一点,而PostgreSQL一贯的稳重保守使得它在性能上似乎有弱于MySQL的风声。有篇过期评测可以说明这个现象:http://www.sqlite.org/speed.html。

`

不过这都是老黄历了,P娘后来卧薪尝胆,据说现在性能完全压倒MySQL。在偏僻的Google搜索角落里面,随处可以见到MySQL数据量上去相比PostgreSQL像蜗牛一样的评语,而P娘在稳定性方面的评价更是远远胜过MySQL娘,在我们M娘和S娘进行百合大战的时候,P娘正在外围围观,不时地出现在我搜索结果中。等到M娘失败,P娘立刻挺身而出:M娘那种不专业啊,就那个内存引擎有点亮点,让我来对付S娘,要让你知道什么叫做专业。

`
P娘实在太专业了,一上来安装完毕之后我一头雾水,都不知道怎么创建用户,好不容易搞定后命令行界面更看不懂了,都不知道怎么看schema,语法也有很多不支持,比如replace into都不支持让我比较无语,而limit a,b的不支持让我有点惊讶,搞了半天P娘也是有limit offset语法的,那为啥不支持limit a,b?可以想见这P娘的性格一定是很别扭的,核心函数都写了,只是多提供一个接口函数都不肯,到底算是她傲娇呢还是大小姐属性过重呢?
`
被P娘折腾地有气无力我再也没精力写详细过程了,直接说结果好了,P娘果然不负专业二字,不但在select速度上胜过SQLite,在资源占用上也要优于MySQL的内存表,就连limit性能也有了很大的改进,不过仍然需要0.2秒,我大惊之下看了看sqlite,发现居然也要0.04秒,这一事实让我非常之想不通。
`
如果只有MySQL性能差那我还可以理解,全那么差那就是我有问题了。可是limit那么常用的操作,稍微做点改进就能把速度提上去的。当然limit如果和where混用,不计算出整个表的搜索结果是没有办法知道第几个的,在这种情况下limit性能取决于offset的个数。那么数据库在做limit的时候(针对我的应用的情况)很可能就是按照order by的顺序来access数据库,然后再根据where的like语句进行比对,符合了再用计数器计数。
`
但是按照这种思路来得话,例如 ’select * from db order by x limit 200000,1′ 这样的语句只需要访问索引,以MySQL Memory引擎来说,这是一个在内存中的数据库,只需要遍历一下BTree索引就可以了,遍历一个大小仅为20w的BTree需要0.4秒么?这极度不合理啊,我觉得要再快个1000倍甚至1w倍才是正常速度,理解不能。如果说P娘算是个性比较别扭的话,那M娘简直就是莫名其妙了。因为P娘和S娘遍历速度慢还可以找借口说那是因为IO原因,(实际上SQLite的内存数据库速度也没有提高),可M娘实在有点慢得过分。
`

4.数据库什么的才不要呢

口胡,数据库众娘实在太难伺候了,要么就是select性能不能让我完全满意(S娘和P娘终究还是要比M娘的内存模式慢一点),要么就是性能满意了但是内存消耗超乎常理的大,而且都有分页慢的奇怪现象。
`
既然MySQL这种莫名傲娇娘都可以提速,那么我索性自己动手丰衣足食好了,不就是个树么。我再给添加一个表明自己是老几的数据结构,把分页做到纳秒级别也毫无问题啊。至于用什么树呢?BTree这种树是为了减少IO而设计的,既然都跑内存了那还是用二叉树性能要好一点。经典的自平衡二叉树好像就是AVL,RedBlack,还有Splay了,研究了一下,RB和SPLAY其实是提升了插入和删除速度,我这应用不太在意插入和删除,因为这两种操作较少,所以平衡性更佳的AVL树就是我的不二选择了。
`
不过这些个树真的要我来实现也是很头痛地事情,看算法就复杂得一坨,写实现又不知道会有多少bug,不知道要死掉多少脑细胞,@@。好在pypi太猛了,居然有一个叫做pyavl的包,http://pypi.python.org/pypi/pyavl/1.12_1 这个包用c实现了avl的加强版,可以直接获取rank,遍历也极为方便。做了个测试

其中vcidx的schema如下
CREATE TABLE vcidx ( id integer primary key, title varchar(255), updtime integer );
`
上面代码测试了分页获取的情况,从limit 200000,20一致测到limit 240000,20,测下来是6us,也就是每取20个指定位置的东东平均只需要6×10e-6秒。而且看清楚,这个可不是定位,而是获取了20个数据所花费的时间,我觉得大部分时间其实用在内存存取上了,看源码就可以知道,get_rank是一个位运算,定位实际上只需要10多次内存存取加10多次位运算而已。
`
搜索的代码也非常简单,如下

这个代码做了10次kekek的搜索,因为找不到任何东西,所以等若遍历了整个数据库,共花费1.6秒,也就是平均每个0.16秒,优于M娘的0.19秒,同时内存占用也好过M娘,只有70M,虽然还是大了点,但是解决了搜索速度和分页的速度问题。M娘要是知道我用12行代码完成了它Memory引擎的工作,而且速度更快,还解决了分页慢的顽疾,估计会哭出来吧,真可怜,还是不让她知道算了。代码中的字符串和比较判断还是用python做的,意味着如果纯C来实现的话性能和内存占用可能会更佳,不过这个方案简洁直接,又能和python结合得很好,我很满意了。
`
要把代码实用化,可能还需要加一些东西,比如做成daemon运行在后端当服务用,通信的话用socket?不过我没用过进程间通信,估计写起来会费点周章,还有可能需要增加同步数据库内容的代码,这样作为一个单独的查询用进程放在后台,性能会比我现在使用的这套流程提高4倍,(因为用sql的count计算搜索结果总数会多消耗一倍时间,再加上本来内存数据库就快一倍。)更重要的是因为这是最容易导致数据库锁住的部分,这部分不用数据库的好处就是sqlite基本上不会锁了,也就不需要换数据库了(谢天谢地,否则更麻烦了)。所以严格说来虽然性能提高了4倍,但是真正服务器负载量提高的估计不止4倍,10倍也是有可能的。要说这个方案的缺点么,那就是增加了不少工作量,想想都觉得写起来必定会很麻烦。

5.结论

正如我在做SimpleCD的一开始就提到的,数据库什么的效率也不见得高,只是省了麻烦而已,自己实现性能会更好,没想到那么快就做到这一步了。暂时因为SimpleCD现有的各种优化下,短期内这个搜索优化是不会派上用处的,在可以预见的未来也不至于会派上用处。要是真的要用上了,那SimpleCD的流量恐怕得是100wPV级的了吧?这种流量我牙齿都要笑掉了。
`
最后附上我测试的一些数据吧,再有对于SMP这三个数据库,我更新一下我个人的偏好:
sqlite: 适合简单高性能低并发的应用, sqlite真是有够lite,但是却也有够强大的,我真是非常喜欢sqlite的低内存使用和高性能,泪流满面。
postgresql: 适合复杂高性能高并发的应用,这东东我必须说很好很强大,它的表结构还能继承的,真是orz了,某些古怪的设定只是其高傲的一种体现。性能和功能上平衡得相当好,就是我乍一看上去貌似有点难用,不像mysql和sqlite那么方便。不过我一向信奉一力降十会的,花哨不能当饭吃,底子厚了才有花哨的本钱啊。我的下一个应用估计就会是P娘了,有了体会再和S娘和M娘做比较吧。
mysql: M娘真是多才多艺到一定境界了,虽然我用不来那些高端的应用,但是看看介绍就觉得实用。奈何我实在是觉得功能再多,性能不高也是渣。所以一如既往地黑化MySQL,而且因为这次对数据库有了更多了解,所以我黑MySQL黑得更有底气一点了。M娘其实骨子里也是轻量级数据库啊。看看人家facebook和youtube在用,但是他们的用法一般人都学不来,说实话我觉得那么用和自己开发一套适合自己的DB的复杂度也差不多了。说到底可以那么用MySQL,当然也就可以那么用PostgreSQL,etc…

`
我目前的偏好: postgresql>sqlite>mysql
`
PS.本文数据均在T43笔记本上所得,相比服务器烂了不少,呵呵,是想尽量排除服务器可用资源不稳定导致测试不准的情况。
#####################
MySQL内存表的一些搜索数据
#####################
$ mysql -V
mysql Ver 14.14 Distrib 5.1.37, for debian-linux-gnu (i486) using EditLine wrapper

mysql> select * from memcd where title like ‘%5%’ order by updtime limit 30000,1;
Empty set (0.17 sec)

mysql> select * from memcd where title like ‘%jiong%’ order by updtime;
Empty set (0.17 sec)

mysql> select * from memcd where title like ‘%rm%’ or title like ‘%mp%’ order by updtime limit 200000,1;
Empty set (0.31 sec)

mysql> select title from memcd order by updtime desc limit 240000,1;
1 row in set (0.48 sec)

##########################
同一条语句,不同数据库的横向比较
##########################
select * from verycd where title like ‘%kekek%’ order by updtime limit 1;
`
MySQL普通表(优化过数据结构)Empty set (1.58 sec)
MySQL内存表 Empty set (0.19 sec)
PostgreSQL普通表 Total query runtime: 318 ms.
SQLite普通表 CPU Time: user 0.896056 sys 0.080005
SQLite附加索引(updtime,title) CPU Time: user 0.360023 sys 0.048003
SQLite原版数据库(不改数据结构)CPU Time: user 0.432027 sys 0.036002
SQLite Memory数据库不加索引 CPU Time: user 0.792049 sys 0.000000
SQLite Memory数据库附加索引 CPU Time: user 0.340021 sys 0.000000

自制搜索引擎+psyco优化(共12行代码): 0.13s
`
##############
内存数据库的对比:
##############
额外内存消耗:
MySQL: >128M
SQLite: ~50M
PostgreSQL: 不支持

速度提升:
MySQL: 800%
SQLite: 15%
PostgreSQL: 0%

SORT算法在遮挡下总跟丢?深入OC-SORT源码,拆解其三大创新点如何解决卡尔曼滤波的顽疾 本文深入解析OC-SORT算法如何通过三大创新点解决多目标跟踪中的卡尔曼滤波顽疾。OC-SORT引入在线平滑虚拟轨迹技术(OOS)、观测中心动量匹配机制(OCM)和基于最后观测的轨迹恢复(OCR),显著提升了遮挡场景下的跟踪性能。实验数据显示,相比传统SORT算法,OC-SORT在MOT17数据集上MOTA提升5.7%,遮挡恢复成功率提高64.2%,为Multi-Object Tracking领域带来突破性进展。 阅读详情

相关推荐

GCdepth散点图绘制

基因组组装完成后,需要对组装结果进行评估,其中GC_depth图是一个比较重要的指标,改图的横坐标是GC含量,纵坐标是平均深度。以30k为窗口(window)无overlap计算其GC含量和平均深度。如果存在样品污染,通常能够从GC含量分析中呈现出来。下文探索了几种绘制GC_depth散点图的方法思路。

huangliangbo的专栏 8993

谈一谈SQLite、MySQL、PostgreSQL三大数据库

每一份付出,必将有一份收货,就像这个小小的果实,时间到了,也就会开花结果......

IT小辉同学 3623

【前端】【面试】【业务场景】前端如何获取并生成设备唯一标识

问题:前端如何获取并生成设备唯一标识?核心要点:浏览器原生信息有限,但通过组合多个维度可生成设备指纹(Device Fingerprint),用于唯一标识设备。常见方式浏览器信息(User-Agent)屏幕与系统参数本地存储标识(localStorage / cookie)第三方指纹库(如 FingerprintJS)方式优点缺点手动组合指纹实现简单不稳定,识别率低持久化强容易被用户清除识别率高、稳定性好依赖第三方库IP 地址识别网络识别粗略共享网络环境下重复可能大。

qq_59344127的博客 1797

Qt随手记:sqlite几百万行数据性能测试

sqlite几百万行数据性能测试

chc_office的博客 9948

网络知识(入门)

二、基本网络通信原理 网络基础概念:IP地址 IP地址在网络中用于标识一个节点(或者网络设备的接口)。 IP地址用于IP报文在网络中寻址。

qq_53235556的博客 5321

无刷直流电机计算转速

一个霍尔传感器周期(Tms)有两种模式输出方式(3FG/1FG),一个电周期是6个60°电角度,电机磁极数是P,磁极对数PP = P / 2 3FG模式: 1个电周期= 6 * T 1FG模式: 1个电周期= 2 * T 1秒钟电周期个数: 1分钟电周期个数: 1分钟转速: 举例: 假设电机磁极数是8,3FG模式下,霍尔周期700us,计算该条件下转速 ...

meimiaorenshengqq的博客 9708

MySQL和Sqlite3 性能测试 对比

测试条件:i5-4460@3.2G,普通机械硬盘。 MySql:5.0.45-community-nt,32bit, innodb引擎,innodb_flush_log_at_trx_commit=0 Sqlite3:Synchronous=Off,LockingMode = Exclusive TableScript: MySql: CREATE TABLE `test` ( `id` int(10) unsigned NOT NULL auto_increment, `name` ...

hllyzms的博客 1万+

第十篇|网络子系统 ②——无损以太网、PFC/ECN、DCQCN 与拥塞可视化

网络部分了解了解

qq_37535542的博客 1877

SQLite性能提升10倍的Web数据库

作者 |James Long 译者| 弯月出品 | 优快云(ID:优快云news)最近我开发了一款名为absurd-sql的SQLite后端。在这款工具的帮助下,你无需将整个...

优快云资讯 5755

C++程序无法正常启动(报0xc000007b错误)问题的详细排查

本文详细介绍了应用程序启动时遇到0xC000007B错误的排查过程。问题源于32位程序与64位运行时库的不匹配,以及缺少依赖的运行时库。通过分析系统日志、使用Windbg和检查程序位数,最终确定问题在于32位程序误引用了64位系统目录下的库文件。

dvlinker的技术专栏 1万+

Vue3 - [兼容PC和手机H5] 详细监听浏览器刷新 / 关闭 / 前进后退事件,用户点击关闭和刷新页面前 “拦截“ 操作并弹出提示框(实时监听用户关闭或刷新网页,触发时文字提醒并执行自定义操作)

vue3监听页面关闭和刷新,vue3中如何监听页面刷新和关闭事件,vue3中监听浏览器窗口关闭事件,并在窗口关闭进行操作,vue3怎么只在某个页面监听,其他页面不监听,vue3监听刷新和关闭怎么离开页面时注销释放,vue3怎么阻止浏览器前进和后退并提示,页面跳转离开后依旧可以监听到刷新和关闭,vue3怎么知道用户关闭了网页,vue3如何监听刷新网页操作并截断,vue3移动端手机h5网页手机网站监听浏览器刷新关闭,vue3当页面关闭或刷新时怎么提示用户离开不保存数据,vue3项目监听浏览器窗口或标签页关闭,并

🏆 前端领域优质创作者 1万+

数据库相关

MySQL大战SQLite(PostgreSQL强势乱入) http://www.kuqin.com/database/20100217/79819.html

必运滔 604

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

sqlite存储大数据量数据之浅见

老猫最近刚开始学习android,android中对于数据存储的方式有好几种,经过两天的学习,对于sqlite存储数据的性能和用法做一浅显的说明:      老猫从j2me开发一路走来,对于sqlite真是喜忧参半,囍的是在一个单机PDA环境下内嵌sqlite可以利用关系型数据库对数据进行操作,开发人员无须为以文本文件形式存储的数据进行查询,修改(定位而头疼),想当初三万条数据在j2me弱弱的文

计算机技术博客 7523

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

高级性能测试系列《27. sqlite数据库中的这份数据可以用于性能测试:设置属性、获取属性,与csv这份数据比较有什么优劣?》...

目录一、从项目的mysql数据库中,获取数据,保存了几份数据?1.设置为属性。2.获取属性。二、设置属性,需要设置n多个属性,这n多个属性是否占用资源,与csv文件比较有什么有优劣?1.对比csv文件。2.保存响应到文件,可以直接保存为csv文件吗?3.一定要保存成csv文件怎么办?三、现在的数据来源是项目的数据库中来的,有没有其它方式生成账号?一、从项目的mysql数据...

清菡的博客 715

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

比文件系统读写还快的SQl数据库- SQLite

SQLite reads and writes small blobs (for example, thumbnail images)35% faster¹than the same blobs can be read from or written to individual files on disk using fread() or fwrite().

wank1259162的博客 3618

sqlite3数据库最大可以是多大?可以存放多少数据?读写性能怎么样?

本文是转载自:http://fairysoftware.com/sqlite_shu_ju_ku.html sqlite是款不错的数据库,使用方便,不需要事先安装软件,事先建表。很多人担心它的性能和数据存储量问题。 比如有的网友问:Sqlite数据库最大可以多大呀?会不会像acc数据库那样,几十MB就暴掉了? 不会的,放心用SQLite, 这是两个数量级的东西, 看下面的说明。 Access不能算真正意义上的数据库,但是Access是前台和后台在一起,对小用户还是有其优点。 SQLite,是一款轻型的数据

$firecat利白的代码足迹$ 2万+

转 -- 内存数据库性能评测之SQLite数据库

原址如下: http://tech.it168.com/a2012/1016/1408/000001408814_all.shtml 内存数据库性能评测之SQLite数据库 【IT168 专稿】SQLite是一款轻型的数据库,它占用资源非常的低,同时能够跟很多程序语言相结合,但是支持的SQL语句不会逊色于其他开源数据库。它的设计目标是嵌入式的,而且目前已经在很多嵌入式产品中使用了它,它占用资

edwzhang的专栏 1675

为什么大家说mysql数据库单表最大两千万?依据是啥?

故事从好多年前说起。想必大家也听说过数据库单表建议最大2kw条数据这个说法。如果超过了,性能就会下降得比较厉害。巧了。我也听说过。但我不接受它的建议,硬是单表装了1亿条数据。这时候,我们组里新来的实习生看到了之后,天真无邪的问我:"单表不是建议最大两千万吗?为什么这个表都放了1个亿还不分库分表"?我能说我是因为懒吗?我当初设计时哪里想到这表竟然能涨这么快。。。我不能。说了等于承认自己是开发组里的毒瘤,虽然我确实是,但我不能承认。我如坐针毡,如芒刺背,如鲠在喉。开始了一波骚操作。"我这么做是有道理的""虽然这

ilini的博客 6480

sqlite性能简单測试

主要測试sqlite在大数据量下的插入及查询性能: 測试环境:Centos6.4  1G内存  单核 数据量 大小 索引字段检索(耗时) 非索引字段检索(耗时) 总插入时间 10W 19M 0.001s 0.036s 5.1s 50W 100M 0.0014s 0.147s 32.21s 100W 200M 0....

weixin_34007879的博客 223

mysql查询每个表的数据量_Mysql 单表适合的最大数据量是多少?如何优化其性能?...

我们说 Mysql 单表适合存储的最大数据量,自然不是说能够存储的最大数据量,如果是说能够存储的最大量,那么,如果你使用自增 ID,最大就可以存储 2^32 或 2^64 条记录了,这是按自增 ID 的数据类型 int 或 bigint 来计算的;如果你不使用自增 id,且没有 id 最大值的限制,如使用足够长度的随机字符串,那么能够限制单表最大数据量的就只剩磁盘空间了。显然我们不是在讨论这个问题...

weixin_39728909的博客 1799

SQLITE测试工具

sqlite数据库压测程序 ​ SQLite是一个进程内的库,实现了自给自足的、无服务器的、零配置的、事务性的 SQL 数据库引擎。它是一个零配置的数据库,这意味着与其他数据库不一样,您不需要在系统中配置。就像其他数据库,SQLite 引擎不是一个独立的进程,可以按应用程序需求进行静态或动态连接。SQLite 直接访问其存储文件。 ​ 首先得安装sqlite3和它的头文件 固件环境 ​ CPU:Intel® Core™ i7-1065G7 CPU @ 1.30GHz ​ 内存: 16G ​ 内核:lin

qq_42584874的博客 1万+

数据库SQLite 数据大量存储 和快速读取 链表查询的优化 使用gosn

使用gson 将链表存储的优化转化: private Gson gson = new Gson(); private void readStr(){ List contacts = null; if (!TextUtils.isEmpty(str) && !init) { contacts = gson.fromJson(str, new TypeToken>()

风一样的男人 2759

SQLite数据库最多能保存多少数据?

SQLite 是一个 C 语言库,它实现了一个 小型、 快速、 自包含、 高可靠性、 全功能的 SQL 数据库引擎。SQLite 是世界上使用最广泛的数据库引擎。SQLite 内置于所有手机和大多数计算机中,并捆绑在人们每天使用的无数其他应用程序中。在使用SQLite过程中,一直有个疑惑SQLite最多能存储多少数据?所以不必担心SQLite限制,还是看看硬盘有没有这么大呀。单条执行sql语句长度:10 亿字节≈953MB。单行数据最大存储:10 亿字节≈953MB。最多支持表数量:20 亿张表。

wrangler_csdn的博客 1万+

详细了解SQLITE 优缺点 性能测试

什么是SQLITE:   SQLite是一个开源免费的数据库,一般用于嵌入系统或者小规模的应用软件开发中,你可以像使用Access一样使用它,你可以免费用于任何应用,包括商业应用,另外,它还支持各种平台和开发工具,这点是某些数据库(比如Access、DBISAM)。 SQLite是一种嵌入式数据库,它跟微软的Access差不多,只是一个.db格式的文件。但是与Access不同

zl237104326的专栏 4006
上一篇: SQLite的查询优化
下一篇: 点评主流开源数据库的技术特点
UU_Yang
博客等级 码龄23年 926粉丝 213原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值