python分布式存储系统_Python 分布式文件系统 Mongodb GridFS

mongodb GridFS 性能

性能, 网评还不错.

不过在生产环境中,国外有用于存储视频流的.

GridFS的一个优点是可以存储上百万的文件而无需担心扩容性.

通过同步复制,可以解决分布式文件的备份问题.

通过ARP-ping可以实现一个双机热备切换,类mysql的mysql master master replic

使用Nginx module

http://github.com/mdirolf/nginx-gridfs

这是gridfs的nginx module. 可以通过nginx直接访问读取mongo gridfs中的文件.

和nginx对应的mogilefs module类似.

优点: 由于直接通过nginx,速度是最快的.

缺点: 只能通过file_path来查找,目前不支持_id来查找.因此必须在file_path上

建立索引.

其他一些信息:

1.通过runcommand可以直接在mongodb端运行处理脚本. 比如像mapreduce,或者一

些需要读取数据然后进行处理的.

这些command则是使用javascript方式来编写的,很容易. 好处就是避免了数据在服

务端和客户端之间的读取和传输,

提高效率.

2. sharding

sharding在目前开发版中已经具备,但还不成熟. 但是可以自己实现sharding比较

好.因为目前的sharding还是比较硬性的.

3.灵活使用magic操作符和upsert,比如$inc,$all,$in 等等

#!/bin/bash

安装mongodb

#mongodb 1.2.4

official

#http://www.mongodb.org/

admin

#http://www.mongodb.org/display/DOCS/Admin+Zone

manual

http://www.mongodb.org/display/DOCS/Manual

GridFS+Tools

http://www.mongodb.org/display/DOCS/GridFS+Tools

config

http://www.mongodb.org/display/DOCS/File+Based+Configuration

http://bytebucket.org/namlook/mongokit/wiki/html/gridfs.html

客户端

easy_install pymongo

API:http://api.mongodb.org/python/current/api/pymongo/

http://api.mongodb.org/python/1.4%2B/examples/gridfs.html

以下是安装脚本

Java代码

mkdir mongodb

cd mongodb

wget http://downloads.mongodb.org/linux/mongodb-linux-x86_64-static-legacy-1.2.4.tgz

tar xzf mongodb-linux-x86_64-static-legacy-1.2.4.tgz

cd mongodb-linux-x86_64-static-1.2.4/

mkdir mongodbcd mongodbwget http://downloads.mongodb.org/linux/mongodb-linux-x86_64-static-legacy-1.2.4.tgztar xzf mongodb-linux-x86_64-static-legacy-1.2.4.tgzcd mongodb-linux-x86_64-static-1.2.4/

#建立数据保存路径

mkdir data

cd data

mkdir db

启动服务

Java代码

cd /home/bmc/mongodb/mongodb-linux-x86_64-static-1.2.4/bin/

./mongod --dbpath=/home/bmc/mongodb/data/db/

cd /home/bmc/mongodb/mongodb-linux-x86_64-static-1.2.4/bin/./mongod --dbpath=/home/bmc/mongodb/data/db/

config

根据如下链接编写自己的config文件

http://www.mongodb.org/display/DOCS/File+Based+Configuration

你可以使用nginx+gridfs插件来进行访问mongodb,但是gridfs 插件需要boost，由于boost版本问题，这个东东基本安装不上或是安装很费劲，您可以使用django启动服务来代替这个复杂的插件，代码如下 ：)

Views

Java代码

returnHttpResponse(im, mimetype='image/JPEG')

return HttpResponse(im, mimetype='image/JPEG')

后台连接代码：

Java代码

#encoding=utf-8

from pymongo importConnection

from gridfs import*

from PIL importImage

importStringIO

importthreading, time

#文件处理系统

classGFS:

#定义connection and fs

c = None

db = None

fs = None

instance = None

locker = threading.Lock()

#初始化

def __init__(self):

print '__init__'

GFS._connect()

print 'server info '+' * '*40

print GFS.c.server_info

#获得单列对象

@staticmethod

def getInstance():

GFS.locker.acquire()

try:

GFS.instance

ifnot GFS.instance:

GFS.instance = GFS()

returnGFS.instance

finally:

GFS.locker.release()

#写入

def put(self,name,image,format='png',mime='image'):

gf = None

data = None

try:

data = StringIO.StringIO()

image.save(data,format)

data.getvalue()

name = '%s.%s'% (name,format)

print 'name is %s'% name

gf = GFS.fs.open(name,'w')

gf.content_type = '%s/%s'% (mime,format)

gf.write(data.getvalue())

finally:

try:

gf.close()

data.close()

finally:

GFS.c = None

GFS._connect()

#获得图片

def get(self,name):

gf = None

try:

gf  = GFS.fs.open(name,'r')

print gf

im = gf.read()

dic = {}

dic['chunk_size'] =  gf.chunk_size

dic['metadata'] = gf.metadata

dic['mode'] = gf.mode

dic['length'] = gf.length

dic['upload_date'] = gf.upload_date

dic['name'] = gf.name

dic['content_type'] = gf.content_type

return(im , dic)

except Exception,e:

print e

return(None,None)

finally:

ifgf:

ifnot gf.closed:

gf.close()

#获得文件列表

def list(self):

returnGFS.fs.list()

#删除文件

def remove(self,name):

GFS.fs.remove(name)

@staticmethod

def _connect():

ifnot GFS.c:

GFS.c = Connection('*********',27017)

GFS.db = GFS.c['imagesdb']

GFS.fs = GridFS(GFS.db)

#encoding=utf-8from pymongo import Connectionfrom gridfs import *from PIL import Imageimport StringIOimport threading, time#文件处理系统class GFS: #定义connection and fs c = None db = None fs = None instance = None locker = threading.Lock() #初始化 def __init__(self): print '__init__' GFS._connect() print 'server info ' + ' * ' * 40 print GFS.c.server_info #获得单列对象 @staticmethod def getInstance(): GFS.locker.acquire() try: GFS.instance if not GFS.instance: GFS.instance = GFS() return GFS.instance finally: GFS.locker.release() #写入 def put(self,name,image,format='png',mime='image'): gf = None data = None try: data = StringIO.StringIO() image.save(data,format) data.getvalue() name = '%s.%s' % (name,format) print 'name is %s' % name gf = GFS.fs.open(name,'w') gf.content_type = '%s/%s' % (mime,format) gf.write(data.getvalue()) finally: try: gf.close() data.close() finally: GFS.c = None GFS._connect() #获得图片 def get(self,name): gf = None try: gf = GFS.fs.open(name,'r') print gf im = gf.read() dic = {} dic['chunk_size'] = gf.chunk_size dic['metadata'] = gf.metadata dic['mode'] = gf.mode dic['length'] = gf.length dic['upload_date'] = gf.upload_date dic['name'] = gf.name dic['content_type'] = gf.content_type return (im , dic) except Exception,e: print e return (None,None) finally: if gf: if not gf.closed: gf.close() #获得文件列表 def list(self): return GFS.fs.list() #删除文件 def remove(self,name): GFS.fs.remove(name) @staticmethod def _connect(): if not GFS.c: GFS.c = Connection('*********',27017) GFS.db = GFS.c['imagesdb'] GFS.fs = GridFS(GFS.db)