李旸的专栏

<br />最近在学习MongoDB，做一些笔记<br /> <br />安装：<br />1. 下载<br />    有32位和64位两个版本，32位版本存储的数据量有2GB的限制，建议选择64位版本。最新的release版本号是1.6.5<br />    wget http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-1.6.5.tgz<br />2. 解压<br />    tar -xzvf mongodb-linux-x86_64-1.6.5

1. 安装pymongogit clone git://github.com/mongodb/mongo-python-driver.git pymongocd pymongo/python setup.py install2. 测试pymongo>>> from pymongo import *>>> conn = Connection()>>> db = conn['test']>>> col = db['foo']>>> col.insert({'a':1})ObjectId(

<br />今天通过一个实验比较了一下MongoDB和MySQL的性能，注意这个比较只反映了我们这个应用场景下的情况，并不能代表普遍的情况。<br /> <br />我们希望存储一些视频历史上的流量，需要存1年的时间，每天活跃的视频在百万数量级，流量用整型表示就可以了。在我们的应用中，写性能是优先考虑的因素，所以第一步的实验主要比较写入的性能，由于存储的数据是被单一应用(进程)独享的，sqlite也满足我们的应用场景，因此我们同时也测试了sqlite的写入性能。<br /> <br />实验环境：<br /

<br />昨天比较了一下在某个特定应用中MongoDB和MySQL导入数据的性能，但是MongoDB的测试结果并不能令人满意，今天继续尝试了几种导入数据的方法，希望提升数据导入性能。<br /> <br />在昨天的实验中，是以id随机的顺序插入数据的，由于我们在id这个属性上面建立了递增索引，因此首先怀疑的是由于id无序造成后面插入的数据有可能导致前面已经插入的数据移动位置，所以第一个实验把插入顺序改成按id赠序。但结果没有什么变化，插入一百万条数据用了1422秒(比昨天按id随机顺序插入还慢了点，

大规模数据导入实验在上一个实验中，我们测试了导入数据的性能，简单总结一下测试方法：1. Schema: 每行数据三个字段，日期、ID和当日流量，都是长整型2. Index: inventory.create_index([('date',ASCENDING), ('id',ASCENDING)], unique=False, dropDups=False)3. 用mongoimport导入csv数据随后我们在大规模的数据上进行了测试，导入360天的数据，每天100万行记录。同样的数据导入两次，由于索