前言:
部分资源出自其他博客,旨将零散知识点集中到一起,如果有侵犯您的权利,请联系hcz804933522@163.com。大部分内容均系原创,欢迎大家转载分享,但转载的同时别忘了注明作者和原文链接哦
Nosql引导:
Nosql :Not Only SQL ,用于解决非关系型的、分布式的、开源的、水平可扩展的。原始的目的是为了大规模web应用
.MongoDB初步印象:
1.优缺点:
-优点:
.适应大数据量、高并发、弱事务
.创业团队,首选MongoDB
- 高性能、易部署、易使用,存储数据非常方便。
- 面向集合存储,易存储对象类型的数据。
- 模式自由。
- 支持动态查询。
- 支持完全索引,包含内部对象。
- 支持支持范围、正则、属性查询。
- 支持复制和故障恢复。
- 使用高效的二进制数据存储,包括大型对象(如视频等)。
- 自动处理碎片,以支持云计算层次的扩展性
- 支持Python,PHP,Ruby,Java,C,C#,Javascript,Perl及C++语言的驱动程序,社区中也提供了对Erlang及.NET等平台的驱动程序。
- 文件存储格式为BSON(一种JSON的扩展),使用Json风格提交、展示数据。
- 可通过网络访问
- 动态查询:Mongo支持丰富的查询表达式。查询指令使用JSON形式的标记,可轻易查询文档中内嵌的对象及数组。
- 完整的索引支持:包括文档内嵌对象及数组。Mongo的查询优化器会分析查询表达式,并生成一个高效的查询计划。
- 查询监视:Mongo包含一个监视工具用于分析数据库操作的性能。
- 复制及自动故障转移:Mongo数据库支持服务器之间的数据复制,支持主-从模式及服务器之间的相互复制。复制的主要目标是提供冗余及自动故障转移。
- 高效的传统存储方式:支持二进制数据及大型对象(如照片或图片)
- 自动分片以支持云级别的伸缩性:自动分片功能支持水平的数据库集群,可动态添加额外的机器。
-缺点:
.存储的数据占用空间过大
2. 适用场合:
- 网站数据:Mongo非常适合实时的插入,更新与查询,并具备网站实时数据存储所需的复制及高度伸缩性。
- 缓存:由于性能很高,Mongo也适合作为信息基础设施的缓存层。在系统重启之后,由Mongo搭建的持久化缓存层可以避免下层的数据源 过载。
- 大尺寸,低价值的数据:使用传统的关系型数据库存储一些数据时可能会比较昂贵,在此之前,很多时候程序员往往会选择传统的文件进行存储。
- 高伸缩性的场景:Mongo非常适合由数十或数百台服务器组成的数据库。Mongo的路线图中已经包含对MapReduce引擎的内置支持。
- 用于对象及JSON数据的存储:Mongo的BSON数据格式非常适合文档化格式的存储及查询
3.MongoDB概念介绍:
.面向集合、模式自由、文档型数据库
数据被分组 聚集(collection)、名字唯一、等效于Mysql、Oracle等表概念、不需要定义模式Schema、可随时创建
数据结构不限定,上次操作与下次操作之间互不影响,保持json风格即可
键值对形式存放
32位存储2G数据,要不改用64位或者分片安装
数据二进制形式存储在文件中,而单个文件大小有限制,此时设置定时更新。实现无限制用GridFs
快速的写入忽略了错误,getLastError获取
4.MongoDB安装:
.window下操作:
.win32
.直接解压缩包、新建mongodb文件夹、拷贝exe文件到该目录、启动命令行、设置数据存放路径
5.MongoDB语法:
.可以修改一次性修改文件个数
.默认区分大小写,但是正则会影响性能
.不检查数据类型,要确保数据类型正确
.支持数据库级别锁,collection(文件)级别期待中..
.集群需要2n+1个,或者使用Arbiter,实现故障转移和冗余的增强,但不储存任何用户数据
.不支持join,collection间查询必须多次查询
.Journaling 100ms输出一次,减少数据丢失,性能影响5%,但是推荐不关闭。
.支持身份验证,需要手动开启
.恢复正常需要检查数据目录下rollback,进行数据恢复,防止数据丢失
.性能到80%前,提前分片到其他机器。类似的监视工具有:MMS、Munin(+Mongo Plugin)和CloudWatch。
开始就要分片处理,那么更好的建议会是选用AWS或者类似的云服务进行分片。而在小型服务器上,关机或者是调整机器明显比转移成千上万条数据块来的更直接一点
.shard key不可以修改,必要的时候可以删除文件重新建立.
.Collection达到256G以前进行分片
.当用公网连接时,要注意和MongoDB的通信是未加密的,需要自己定制
.使用异步提交或者多个文件,进行事务实现
.可以使用undocumented flag –nopreallocj来关闭预分配。
.禁NUMA。
.Linux里面的进程限制
参考资料:
http://www.open-open.com/lib/view/open1324364690483.html
http://database.51cto.com/art/201103/247882.htm
- http://www.youkuaiyun.com/article/2012-11-15/2811920-mongodb-quan-gong-lue