
mongodb
文章平均质量分 85
追寻北极
没有月亮的晚上,我们相信星光。没有路可走的时候,我们相信远方.--
展开
-
GridFS详细分析
GridFS简介GridFS是MongoDB中的一个内置功能,可以用于存放大量小文件。http://www.mongodb.org/display/DOCS/GridFShttp://www.mongodb.org/display/DOCS/GridFS+SpecificationGridFS使用MongoDB提供了一个命令行工具mongofiles可以来处转载 2015-05-12 13:37:46 · 1036 阅读 · 0 评论 -
MongoDB GridFS最佳应用概述
作者:chszs,转载需注明。博客主页:http://blog.youkuaiyun.com/chszsGridFS是MongoDB数据库之上的一个简单文件系统抽象。如果你熟悉Amazon S3的话,那么GridFS与之相似。为什么像MongoDB这样的NoSQL数据库会提供这样的一个文件层抽象呢?一、使用GridFS的理由理由如下:1)存储用户产生的文件内容转载 2015-05-12 13:41:10 · 608 阅读 · 0 评论 -
MongoDB的授权和权限
1. 在开启MongoDB 服务时不添加任何参数时,可以对数据库任意操作,而且可以远程访问数据库。如果启动的时候指定—auth参数,可以对数据库进行用户验证。 $ ./mongod --auth >> mongodb.log & 开启 ./mongoMongoDB shell version: 1.8.1connecting to: test转载 2015-05-12 13:40:22 · 770 阅读 · 0 评论 -
MongoDB JAVA API高级查询示例(对应于上一篇)
[java] view plaincopyprint?/** * MongoDBTest * MongoDB JAVA API的高级查询示例 */ package com.labci.mongodb.test; import java.net.UnknownHostException; import java.util.Itera转载 2015-05-12 13:37:36 · 689 阅读 · 0 评论 -
mongodb的用户认证
mongodb默认是不认证的,默认没有账号,只要能连接上服务就可以对数据库进行各种操作,mongodb认为安全最好的方法就是在一个可信的环境中运行它,保证之后可信的机器才能访问它,可能这些对一些要求高的环境,安全还不够mongodb提供用户认证,需要在启动时加上--auth开启认证认证前需要添加账号添加管理员账号:默认情况下系统中没有用户> use admin转载 2015-05-12 13:35:44 · 629 阅读 · 0 评论 -
MongoDB GridFS图片文件存储解决方案
Mongodb GridFS图片文件存储解决方案 之前解决方案是接收图片数据后,将图片直接存储到盘阵,然后通过Apache做服务器,将图片信息存储到数据库,并且存储一个Apache的访问路径。 目前需要后台服务存储图片,将图片存储到MongoDB集群中,然后通过Nginx中的nginx-gridfs模块进行访问,在浏览器中通过url访问,效果与Apache访问本地文件一转载 2015-05-12 13:41:47 · 1997 阅读 · 0 评论 -
MongoDB设置访问权限、设置用户
MongoDB已经使用很长一段时间了,基于MongoDB的数据存储也一直没有使用到权限访问(MongoDB默认设置为无权限访问限制),今天特地花了一点时间研究了一下,研究成果如下:注:研究成果基于Windows平台MongoDB在本机安装部署好后1. 输入命令:show dbs,你会发现它内置有两个数据库,一个名为admin,一个名为local。local好像没啥用,如果哪转载 2015-05-12 13:42:39 · 514 阅读 · 0 评论 -
电子商务文件存储及读取服务的设计和开发思路(JMagick用于生成高清的缩略图)
商品图片,平均200-500K,说大不大,说小不小,但量大且细碎,通常通过页面上传,全部保存在文件里,管理和索引都很慢,几乎无法备份,读取也很慢。传统的基于磁盘存储的缺陷: 1、 图片存储和应用程序在一个服务器上,图片的读取占用大量的磁盘IO,在访问量高的时候,图片读取和应用程序相互影响。特别互联网环境下的文件多以几K,几十K的小文件为主,磁盘寻址和读取,缓存命中率都比较低。 2、 当转载 2015-05-15 15:13:24 · 670 阅读 · 0 评论 -
MongoDB框架Jongo的使用介绍
1、Jongo可以用来做什么?Jongo框架的目的是使在MongoDB中可以直接使用的查询Shell可以直接在Java中使用。在官网首页有一个非常简洁的例子:SHELL:这种查询方式是MongoDB数据库支持的查询方式。JAVA DRIVER:是MongoDB Java驱动API中提供的查询方式JONGO:就是jongo框架提供的查询转载 2015-05-15 15:19:37 · 1950 阅读 · 0 评论 -
Linux redhat安装Nginx
Nginx是一款非常优秀的Web服务器,它是由俄罗斯人Igor Sysoev(伊戈尔-塞索耶夫)写的,虽然它的应用还没有老牌Web服务器Apache广泛,但相比Apache,它有着自己的一些优势,比如很好的高并发访问支持内存却占用少,配置简单,稳定性高,支持热部署等等。Nginx 已经在俄罗斯的最大的门户网站Rambler Media上运行了好几年的时间,在国内也有很多一些知名网站也采用Ngi转载 2015-05-15 15:22:49 · 873 阅读 · 0 评论 -
rails mysql mongoid carrierware gridfs 实现图片上传功能
1.安装Git: git的安装MongoDB: MongoDB安装Nginx: Nginx安装注: 官方的nginx没有nginx-gridfs功能,需要手动编译进去安装步骤:[bash]cd /tmpgit clone https://github.com/mdirolf/nginx-gridfscd nginx-gridfs/git submodul转载 2015-05-15 15:06:55 · 735 阅读 · 0 评论 -
MongoDB 的 GridFS 详细分析
GridFS简介GridFS是MongoDB中的一个内置功能,可以用于存放大量小文件。http://www.mongodb.org/display/DOCS/GridFShttp://www.mongodb.org/display/DOCS/GridFS+SpecificationGridFS使用MongoDB提供了一个命令行工具mongofiles可以来处转载 2015-05-15 15:10:24 · 595 阅读 · 0 评论 -
用nginx-gridFS读取MongoDB的图片
nginx-gridfs是一个nginx的扩展模块,用于支持直接访问MongoDB的GridFS文件系统上的文件并提供 HTTP 访问。一、安装mongodb创建/etc/yum.repos.d/mongodb.repo文件,配置文件内容如下:?12345[mongodb]name=Mo转载 2015-05-15 15:25:00 · 1493 阅读 · 0 评论 -
MongoDB的GridFS与文件系统在小文件存储的读取性能对
首先,Gridfs基于MongoDB,易用易扩展。而文件系统则老练且成熟稳定。 网传XXX公司用Gridfs存储海量图片,本文记录了测试Gridfs与文件系统在存储1.2KB与7.5KB的小图片文件时的读取性能对比。图片的文件名为8位数字,从0开始每2位建1个目录最多3层。比如文件:01234567.jpg 存储路径为 01/23/45/01234567.jpg (测试脚本)。 使转载 2015-05-14 10:28:06 · 4582 阅读 · 0 评论 -
MongoDB 的 GridFS 详细分析
GridFS简介GridFS是MongoDB中的一个内置功能,可以用于存放大量小文件。http://www.mongodb.org/display/DOCS/GridFShttp://www.mongodb.org/display/DOCS/GridFS+SpecificationGridFS使用MongoDB提供了一个命令行工具mongofiles可以来处转载 2015-05-14 10:38:05 · 712 阅读 · 0 评论 -
CentOS6.3搭建Nginx代理访问MongoDB GridFS图片资源(已经验证-不错)
PHP可以直接读取MongoDB GridFS中的图片并显示到页面中,但对PHP的压力就大了。偶然机会,了解到Nginx可以代理访问,实现过程如下:1、工具准备安装一些必要的编译工具及库,这里是直接从“编译安装LNMP”系列教材中摘取的,有点冗余。1yum -y install make apr* autoconf automake curl转载 2015-05-14 18:38:17 · 724 阅读 · 0 评论 -
redhat下安装nginx并与gridfs进行整合
1,设置安装根目录export ROOT_PATH=/root2,安装openssl,如果nginx不启用ssl协议,可忽略wget -c http://www.openssl.org/source/openssl-1.0.1e.tar.gz -O openssl-1.0.1e.tar.gz tar -xzvf ./openssl-1.0.1e.tar.gz3,安装原创 2015-05-15 13:53:55 · 2067 阅读 · 0 评论 -
Linux 安装mongoDB 2.2.7
1.下载mongodb下载地址:http://downloads.mongodb.org/linux/选择相应的版本,这里我选择的是mongodb-linux-x86_64-2.2.7.tgz的下载. 2.解压缩tar文件进入指定安装mongodb的目录后,执行如下命令#tar -zxvf mongodb-linux-x86_64-2.2.7.tgz把解压的文件夹重转载 2015-05-15 15:30:15 · 517 阅读 · 0 评论 -
用nginx-gridFS读取MongoDB的图片
一、安装mongodb创建/etc/yum.repos.d/mongodb.repo文件,配置文件内容如下:?12345[mongodb]name=MongoDB Repositorybaseurl=http://downloads-distro.mongodb.org/repo/redhat/os/x86_64/转载 2015-05-15 15:06:38 · 1186 阅读 · 0 评论 -
MongoDB GridFS 数据读取效率 benchmark
GridFS 是 MongoDB 下的一个子模块,利用这一模块,可以实现使用MongoDB存储文件,MongoDB 二进制包的bin目录下的mongofile 命令即可模拟实现该功能。原文链接:http://lgone.com/html/y2010/815.html数据来源:http://www.coffeepowered.net/2010/02/17/serving-files-ou转载 2015-05-15 15:08:13 · 2288 阅读 · 0 评论 -
MongoDB 运行状态、性能监控,分析
这篇文章的目的是让你知道怎么了解你正在运行的Mongdb是否健康。mongostat详解mongostat是mongdb自带的状态检测工具,在命令行下使用。它会间隔固定时间获取mongodb的当前运行状态,并输出。如果你发现数据库突然变慢或者有其他问题的话,你第一手的操作就考虑采用mongostat来查看mongo的状态。它的输出有以下几列:inserts/转载 2015-05-15 15:12:03 · 688 阅读 · 0 评论 -
mongodb备份与恢复(上)
数据定期备份是非常有必要的,数据的重要性不言而喻,地球上的猪都会知道。mongodb备份方式有三种,下面分别说到:1. 文件快照方式2. 复制数据文件方式3. 使用mongodump方式一. 备份单台mongodb1. 文件快照方式这是最简单的备份方法。但是,需要系统文件支持快照和mongod必须启用journal。如果都符合这两条要求,可以在任何时刻创建快转载 2015-05-27 14:15:20 · 633 阅读 · 0 评论 -
mogodb备份注意事项
MongoDB数据库的备份,恢复与迁移,回滚备份与恢复在创建MongoDB服务的时候,通过--dbpath指定目录就是存放mongdb数据库文件目录,我们可以通过复制这些文件实现数据库的冷备,但是这种方式不太安全。因此在冷备前,要关闭服务器,这个在第一节中介绍过平滑关闭server的命令。>use admin >db.shutdownServer() 或者可以通过fsync方式使原创 2015-05-27 14:25:00 · 833 阅读 · 0 评论 -
启动mongodb报错child process failed
1,当用命令 /usr/local/mongodb/bin/mongod --dbpath=/usr/local/mongodb/data --logpath=/usr/local/mongodb/logs/mongod.log --fork启动mongodb时,报如下错误:child process failed, exited with error number 100这是因为非正原创 2015-05-28 09:13:45 · 5510 阅读 · 0 评论 -
redhat下mongodb权限设置
0,创建用户,然后删除,否则没有authSchema>db.createUser( { user: "maodan", pwd: "maodan_2015", roles: [ { role: "userAdmin", db: "maodan" }, { role: "readWrite", db: "maodan" }, { role: "dbOwner", db原创 2015-06-16 14:33:23 · 616 阅读 · 0 评论 -
Nagios监控数据库的方法
Nagios监控数据库的方法:check_mysql_health监控数据库1、check_mysql_health安装在监控服务器上安装# cd /usr/local/src/tarbag # wget http://labs.consol.de/wp-content/uploads/2010/03/check_mysql_health-2.1.1.tar.gz # ta转载 2015-05-27 14:11:03 · 1419 阅读 · 0 评论 -
mongodb 备份 还原 导出 导入
mongodb数据备份和还原主要分为二种,一种是针对于库的mongodump和mongorestore,一种是针对库中表的mongoexport和mongoimport。一,mongodump备份数据库1,常用命令格mongodump -h IP --port 端口 -u 用户名 -p 密码 -d 数据库 -o 文件存在路径 如果没有用户谁,可转载 2015-05-27 14:11:48 · 423 阅读 · 0 评论 -
通过mongodump和mongorestore实现Mongodb备份和恢复
Mongodb自带了mongodump和mongorestore这两个工具来实现对数据的备份和恢复。mongodump能够在Mongodb运行时进行备份,它的工作原理是对运行的Mongodb做查询,然后将所有查到的文档写入磁盘。但是存在的问题时使用mongodump产生的备份不一定是数据库的实时快照,如果我们在备份时对数据库进行了写入操作,则备份出来的文件可能不完全和Mongodb实时数据相等转载 2015-05-27 14:19:43 · 772 阅读 · 0 评论 -
mongodb3.0 单机数据迁移 分片复制集
1,启用分片1,启用分片mongos> use adminswitched to db adminmongos> db.runCommand({enablesharding:"test"}){ "ok" : 1 }mongos> db.printShardingStatus()--- Sharding Status --- sharding version: { "_id原创 2015-05-28 14:17:04 · 3040 阅读 · 0 评论 -
Mongodb数据分片的实现(优秀)
副本集实现了网站的安全备份和故障的无缝转移,但是并不能实现数据的大容量存储,毕竟物理硬件是有极限的,这个时候就需要做分布式部署,把数据保存到其他机器上。Mongodb的分片技术就很完美的实现了这个需求。 理解Mongodb的分片技术即Sharding架构 什么是Sharding?说白了就是把海量数据水平扩展的集群系统,数据分表存储在Sharding的各个节点上。转载 2015-05-28 14:48:36 · 840 阅读 · 0 评论 -
MongoDB应用篇(分片键)
一、高级查询1. 查询操作符1.1 比较操作符$gt,$lt,$gte,$lte实例:select * from things where fieldvalue -- 等价于db.things.find({"field":{$lt:value}})select * from things where fieldvalue2 and field>value1 -- 等转载 2015-05-28 14:50:08 · 799 阅读 · 0 评论 -
[mongodb翻译]选择合适的shard key
为一个集合(collection)选择合适的shard key非常重要。如果这个集合非常庞大,那么将来再来修改shard key将会很困难。如有任何疑问请到论坛或者IRC寻求帮助。 示例文档{ server : "ny153.example.com" , application : "apache" , time : "2011-01-02T21:转载 2015-05-28 14:55:02 · 810 阅读 · 0 评论 -
【mongoDB】 备份(推荐)
方法一:使用文件复制形式,对mongoDB 进行数据文件的备份。[mongo@localhost ~]$ cat mongo_back.sh#!/bin/sh#su - mongosource /home/mongo/.bash_profile#对数据库进行加锁,禁止数据写入,并进行数据同步,将脏数据刷新到磁盘中。以确保数据目录中转载 2015-05-28 14:54:05 · 512 阅读 · 0 评论 -
MongoDB基本管理命令
这篇MongoDB基本管理命令比较全面,转载保留,原文目录MongoDB命令帮助系统基本命令及实例一基本命令二基本DDL和DML三启动与终止四安全管理五数据备份恢复与迁移管理六远程连接管理MongoDB是一个NoSQL数据库系统:一个数据库可以包含多个集合(Collection),每个集合对应于关系数据库中的表;而每个集合中可以存储一组由列标识的记录,列是可以自由定转载 2015-05-28 14:55:24 · 896 阅读 · 0 评论 -
Mongodb数据分片的维护(新增分片到已有的分片复制集)
Mongodb的Sharding维护也是就那几个命令,相对来说都很简单,结合实例做下演示。1,列出所有的Shard Server注意一点是:需要连接到路由的admin下。listshards的参数1是一个固定的默认值,没有特殊的意义。2,查看Sharding的信息切换到Friends数据库,使用printShardingStatus(),可以看到当前转载 2015-05-28 14:59:06 · 3071 阅读 · 0 评论 -
MongoDB 分片问题汇总
分片是MongoDB的扩展方式,通过分片能够增加更多的机器来用对不断增加的负载和数据,还不影响应用.1.分片简介分片是指将数据拆分,将其分散存在不同机器上的过程.有时也叫分区.将数据分散在不同的机器上,不需要功能强大的大型计算机就可以存储更多的数据,处理更大的负载.使用几乎所有数据库软件都能进行手动分片,应用需要维护与若干不同数据库服务器的连接,每个连接还是完全转载 2015-05-28 15:01:44 · 5924 阅读 · 0 评论 -
MongoDB使用小结
http://www.cnblogs.com/cswuyg/p/4355948.html最近一年忙碌于数据处理相关的工作,跟MongoDB打交道极多,以下为实践过程中的Q&A,后续会不定期更新补充。1、count统计结果错误这是由于分布式集群正在迁移数据,它导致count结果值错误,需要使用aggregate pipeline来得到正确统计结果,例如:db.转载 2015-05-28 14:59:39 · 1905 阅读 · 0 评论 -
MongoDB 常用故障排查工具
MongoDB 常用故障排查工具1.profileprofiling levels: 0,关闭profile;1,只抓取slow查询;2,抓取所有数据。启动profile并且设置Profile级别: 可以通过mongo shell启动,也可以通过驱动中的profile命令启动,启动后记录会被保存在system.profile coll转载 2015-05-28 15:03:50 · 702 阅读 · 0 评论 -
MongoDB水平分片集群学习笔记
为何需要水平分片mongodb sharding 服务器架构如何部署分片集群如何选择shard key如何查看shard信息备份cluster meta information查看balance 状态 配置balance时间窗口修改chunk size何时会自动balance设置分片上最大的存储容量删除分片手动迁移分片预分配空chunk如何删转载 2015-05-28 15:08:23 · 1263 阅读 · 0 评论 -
搭建高可用mongodb集群(四)—— 分片
按照上一节中《搭建高可用mongodb集群(三)—— 深入副本集》搭建后还有两个问题没有解决:从节点每个上面的数据都是对数据库全量拷贝,从节点压力会不会过大?数据压力大到机器支撑不了的时候能否做到自动扩展?在系统早期,数据量还小的时候不会引起太大的问题,但是随着数据量持续增多,后续迟早会出现一台机器硬件瓶颈问题的。而mongodb主打的就是海量数据架构,他不能解决海量数据怎么行!不转载 2015-05-28 15:11:15 · 676 阅读 · 0 评论