mongoDB 副本集 分片

最新推荐文章于 2024-04-23 23:24:15 发布
最新推荐文章于 2024-04-23 23:24:15 发布
阅读量434 收藏
点赞数
文章标签： 数据库 php json
原文链接：https://my.oschina.net/u/3993226/blog/3024832
版权

MongoDB介绍

官网www.mongodb.com， 当前最新版3.4
C++编写，基于分布式的，属于NoSQL的一种
在NoSQL中是最像关系型数据库的
MongoDB 将数据存储为一个文档，数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档、数组及文档数组。
关于JSON http://www.w3school.com.cn/json/index.asp
因为基于分布式，所以很容易扩展
 
MongoDB和关系型数据库对比
e9d7ca9cee9f28c5bf515675d0919797e95.jpg
 

关系型数据库数据结构

e8ee11dd04385a8140311cbe5ac5589f3f4.jpg

 

MongoDB数据结构

c11ad1489693416ae8185b00e13a4a8f74c.jpg

 

MongoDB安装

• epel自带的mongodb版本为2.6，我们需要安装3.4版本
• 官方安装文档https://docs.mongodb.com/manual/tutorial/install-mongodb-on-red-hat/ 
[root@harry-01 ~]# cd /etc/yum.repos.d/
[root@harry-01 yum.repos.d]# vim mongodb-org-3.4.reop
[mongodb-org-3.4]
name=MongoDB Repository
baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.4/x86_64/
gpgcheck=1
enabled=1
gpgkey=https://www.mongodb.org/static/pgp/server-3.4.asc

[root@harry-01 yum.repos.d]# yum list | grep mongodb 
[root@harry-01 yum.repos.d]# yum list | grep mongodb
mongodb-org.x86_64                         3.4.19-1.el7                mongodb-org-3.4
mongodb-org-mongos.x86_64                  3.4.19-1.el7                mongodb-org-3.4
mongodb-org-server.x86_64                  3.4.19-1.el7                mongodb-org-3.4
mongodb-org-shell.x86_64                   3.4.19-1.el7                mongodb-org-3.4
mongodb-org-tools.x86_64
[root@harry-01 yum.repos.d]# yum -y install mongodb-org
已加载插件：fastestmirror
Loading mirror speeds from cached hostfile
 * base: mirrors.aliyun.com
 * extras: mirrors.aliyun.com
 * updates: ap.stykers.moe
正在解决依赖关系
--> 正在检查事务
---> 软件包 mongodb-org.x86_64.0.3.4.19-1.el7 将被 安装

/etc/mongo.conf  //mongoDB的配置文件

 

 

连接MongoDB

systemctl start mongod //启动服务

[root@harry-01 ~]# systemctl start mongod 
[root@harry-01 ~]# ps aux | grep mongod
mongod     6553  1.5  2.1 973328 40952 ?        Sl   13:06   0:00 /usr/bin/mongod -f /etc/mongod.conf
root       6581  0.0  0.0 112724   988 pts/1    R+   13:07   0:00 grep --color=auto mongod
[root@harry-01 ~]# netstat -lntp | grep mongo
tcp        0      0 127.0.0.1:27017         0.0.0.0:*               LISTEN      6553/mongod         
[root@harry-01 ~]# netstat -lntp | grep mongod
tcp        0      0 127.0.0.1:27017         0.0.0.0:*               LISTEN      6553/mongod         
[root@harry-01 ~]#

在本机可以直接运行命令mongo进入到mongodb shell中

[root@harry-01 ~]# mongo
MongoDB shell version v3.4.19
connecting to: mongodb://127.0.0.1:27017
MongoDB server version: 3.4.19
Welcome to the MongoDB shell.

如果mongodb监听端口并不是默认的27017，则在连接的时候需要加--port 选项

mongo --port 27018
 连接远程mongodb，需要加--host，例如
 mongo --host  127.0.0.1

如果设置了验证，则在连接的时候需要带用户名和密码

mongo -uusername -ppasswd --authenticationDatabase db

 

MongoDB用户管理

user指定用户，customData为说明字段，可以省略，pwd为密码，roles指定用户的角色，db指定库名
use admin //切换到admin库
db.system.users.find()  //列出所有用户，需要切换到admin库
show users  //查看当前库下所有的用户
db.dropUser('admin') //删除用户 
[root@harry-01 ~]# mongo -u "admin" -p "123123" --authenticationDatabase "admin"
> use admin
switched to db admin
> db.createUser({user:"admin",customData:{description:"superuser"},pwd:"123123",roles:[{role:"root",db:"admin"}]})
Successfully added user: {
	"user" : "admin",
	"customData" : {
		"description" : "superuser"
	},
	"roles" : [
		{
			"role" : "root",
			"db" : "admin"
		}
	]
}

 

> use db1
switched to db db1
> db.createUser( { user: "test1", pwd: "123aaa", roles: [ { role: "readWrite", db: "db1" }, {role: "read", db: "db2" } ] } )
Successfully added user: {
	"user" : "test1",
	"roles" : [
		{
			"role" : "readWrite",
			"db" : "db1"
		},
		{
			"role" : "read",
			"db" : "db2"
		}
	]
}
>
• test1用户对db1库读写，对db2库只读。
• 之所以先use db1,表示用户在 db1 库中创建，就一定要db1库验证身份，即用户的信息跟随随数据库。比如上述 test1虽然有 db2 库的读取权限，但是一定要先在db1库进行身份验证，直接访问会提示验证失败。 
> use db1
switched to db db1
> db.auth("test1","123aaa")
1

 

MongoDB用户角色

•Read：允许用户读取指定数据库
• readWrite：允许用户读写指定数据库
• dbAdmin：允许用户在指定数据库中执行管理函数，如索引创建、删除，查看统计或访问system.profile
• userAdmin：允许用户向system.users集合写入，可以找指定数据库里创建、删除和管理用户
• clusterAdmin：只在admin数据库中可用，赋予用户所有分片和复制集相关函数的管理权限。
• readAnyDatabase：只在admin数据库中可用，赋予用户所有数据库的读权限
• readWriteAnyDatabase：只在admin数据库中可用，赋予用户所有数据库的读写权限
• userAdminAnyDatabase：只在admin数据库中可用，赋予用户所有数据库的userAdmin权限
• dbAdminAnyDatabase：只在admin数据库中可用，赋予用户所有数据库的dbAdmin权限。

 root：只在admin数据库中可用。超级账号，超级权限

• db.version()  //查看版本
• use userdb  //如果库存在就切换，不存在就创建
• show dbs //查看库，此时userdb并没有出现，这是因为该库是空的，还没有任何集合，只需要创建一个集合就能看到了
• db.createCollection('clo1') //创建集合clo1，在当前库下面创建
• db.dropDatabase() //删除当前库，要想删除某个库，必须切换到那个库下
• db.stats()  //查看当前库的信息
• db.serverStatus()   //查看mongodb服务器的状态
 

MongoDB创建集合

> db.createCollection("mycol",{capped:true,size:6142800,max:10000})
{ "ok" : 1 }

语法：db.createCollection(name,options)

• name就是集合的名字，options可选，用来配置集合的参数，参数如下
• capped true/false （可选）如果为true，则启用封顶集合。封顶集合是固定大小的集合，当它达到其最大大小，会自动覆盖最早的条目。如果指定true，则也需要指定尺寸参数。
• autoindexID  true/false （可选）如果为true，自动创建索引_id字段的默认值是false。
• size （可选）指定最大大小字节封顶集合。如果封顶如果是 true，那么你还需要指定这个字段。单位B
• max （可选）指定封顶集合允许在文件的最大数量。 
> show collections  #查看集合，或者使用show  tables
mycol
> db.Account.insert({AccountlD:1,UserName:"123",password:"123456"}) 
#如果集合不存在，直接插入数据，则mongodb会自动创建集合
WriteResult({ "nInserted" : 1 })

> db.Account.update({AccountlD:1},{"$set":{"Age":20}})
#更新
WriteResult({ "nMatched" : 1, "nUpserted" : 0, "nModified" : 1 })

> db.Account.find() #查看所有文档
{ "_id" : ObjectId("5c879ed264c82e2e1f280c16"), "AccountlD" : 1, "UserName" : "123", "password" : "123456", "Age" : 20 }

> db.Account.find({AccountlD:1})#根据条件查询
{ "_id" : ObjectId("5c879ed264c82e2e1f280c16"), "AccountlD" : 1, "UserName" : "123", "password" : "123456", "Age" : 20 }

> db.Account.remove({AccountlD:1}) #根据条件删除
WriteResult({ "nRemoved" : 1 })

> db.Account.drop() #删除所有文档，即删除集合
true

> use dbname #先进入对应的库

switched to db dbname
> db.printCollectionStats() #查看集合状态
>

 

PHP连接MongoDB – mongodb.so

[root@harry-01 ~]# cd /usr/local/src/
[root@harry-01 src]# wget https://pecl.php.net/get/mongodb-1.3.0.tgz 

[root@harry-01 src]# tar zxvf mongodb-1.3.0.tgz 
[root@harry-01 mongodb-1.3.0]# /usr/local/php-fpm/bin/phpize 
[root@harry-01 mongodb-1.3.0]# ./configure --with-php-config=/usr/local/php-fpm/bin/php-config
[root@harry-01 mongodb-1.3.0]# make
[root@harry-01 mongodb-1.3.0]# make install

vi /usr/local/php-fpm/etc/php.ini  // 搜索 extension=      增加 extension = mongodb.so\

#/usr/local/php-fpm/bin/php -m 

dfb1b332a3d19984d96e2126b1303b27eb8.jpg

 

测试mongo扩展

vim /data/wwwroot/harry.com/1.php

•<?php

$m = new MongoClient(); // 连接

$db = $m->test; // 获取名称为 "test" 的数据库

$collection = $db->createCollection("runoob");

echo "集合创建成功";

?>

 curl  localhost/1.php

 

MongoDB副本集

• 早期版本使用master-slave，一主一从和MySQL类似，但slave在此架构中为只读，当主库宕机后，从库不能自动切换为主
• 目前已经淘汰master-slave模式，改为副本集，这种模式下有一个主(primary)，和多个从(secondary)，只读。支持给它们设置权重，当主宕掉后，权重最高的从切换为主
• 在此架构中还可以建立一个仲裁(arbiter)的角色，它只负责裁决，而不存储数据
• 再此架构中读写数据都是在主上，要想实现负载均衡的目的需要手动指定读库的目标server
 

副本集架构图:

d2f0d01b526d2330b14b1a971065f95519d.jpg                          29c88d4872613ce7f4b42f091145ef5fdb3.jpg

 

cfc819f0cedf3a1152421bf6bb8865c0aec.jpg 

 

副本集搭建

• 三台机器： 192.168.133.130(primary)   192.168.133.132(secondary) 192.168.133.133(secondary)
• 编辑三台机器的配置文件，更改或增加：
• replication://把此行前面的#删除
• ##oplog大小
• oplogSizeMB: 20//前面有两个空格
• ##复制集名称
• replSetName: aminglinux//前面有两个空格
• 分别重启三台机器
 
在搭建过程中遇到一下问题： 
rs.initiate(config)
{
	"ok" : 0,
	"errmsg" : "'192.168.31.138:27017' has data already, cannot initiate set.",
	"code" : 110,
	"codeName" : "CannotInitializeNodeWithData"

解决方法：先将从上的/etc/mongod.conf中 replication的配置注释掉
        清空从里的库
> use admin
switched to db admin
> db.dropDatabase()
{ "dropped" : "admin", "ok" : 1 }
> show dbs
local  0.000GB
> use local
switched to db local
> db.dropDatabase()
{ "dropped" : "local", "ok" : 1 }
> show dbs

"errmsg" : "replSetInitiate quorum check failed because not all proposed set members responded affirmatively: ##这里说是不是所有的成员都已经果断的响应

解决办法：查看防火墙规则，selinux是否开启。

mongoDB副本集测试

•主上建库，建集合
• >use mydb
• >db.acc.insert({AccountID:1,UserName:"123",password:"123456"})
• >show dbs
• 从上查看
• >show dbs  
• 若出现错误Error: listDatabases failed:{ "note" : "from execCommand", "ok" : 0, "errmsg" : "not master" }，需要执行
• >rs.slaveOk() // 大写O 
aminglinux:PRIMARY> use mydb
switched to db mydb
aminglinux:PRIMARY> db.acc.insetr({AccountID:1,UserName:"123",password:"123456"})    
aminglinux:PRIMARY> db.acc.insert({AccountID:1,UserName:"123",password:"123456"})
WriteResult({ "nInserted" : 1 })
aminglinux:PRIMARY> show dbs;
admin  0.000GB
local  0.000GB
mydb   0.000GB
aminglinux:PRIMARY> use mydb
switched to db mydb
aminglinux:PRIMARY> show tables
acc
aminglinux:PRIMARY>

从上检查：

aminglinux:SECONDARY> show dbs
2019-03-19T19:44:04.125+0800 E QUERY    [thread1] Error: listDatabases failed:{
	"ok" : 0,
	"errmsg" : "not master and slaveOk=false",
	"code" : 13435,
	"codeName" : "NotMasterNoSlaveOk"
} :
_getErrorWithCode@src/mongo/shell/utils.js:25:13
Mongo.prototype.getDBs@src/mongo/shell/mongo.js:62:1
shellHelper.show@src/mongo/shell/utils.js:814:19
shellHelper@src/mongo/shell/utils.js:704:15
@(shellhelp2):1:1
aminglinux:SECONDARY> rs.slaveOk()
aminglinux:SECONDARY> show dbs
admin  0.000GB
local  0.000GB
mydb   0.000GB
aminglinux:SECONDARY> use mydb
switched to db mydb
aminglinux:SECONDARY> show tables 
acc
aminglinux:SECONDARY>

 

副本集更改权重模拟主宕机

• 默认三台机器权重都为1，如果任何一个权重设置为比其他的高，则该台机器马上切换为primary角色，所以我们预设三台机器的权重分别为：31.137，31.138，31.139
• 在主上执行
• cfg = rs.conf()
• cfg.members[0].priority = 3
• cfg.members[1].priority = 2
• cfg.members[2].priority = 1
• rs.reconfig(cfg)
• 这样的话，第二个节点将会成为候选主节点。
• 主上执行 iptables -I INPUT -p tcp --dport 27017 -j DROP
 
主上设置权重 
aminglinux:PRIMARY> cfg = rs.conf()
aminglinux:PRIMARY> 
aminglinux:PRIMARY> cfg.members[0].priority = 3
3
aminglinux:PRIMARY> cfg.members[1].priority = 2
2
aminglinux:PRIMARY> cfg.members[2].priority = 1
1
aminglinux:PRIMARY> rs.reconfig(cfg)
{ "ok" : 1 }
aminglinux:PRIMARY> 
bye
[root@harry-01 ~]# iptables -I INPUT -p tcp --dport 27017  -j DROP

31.138权重为2的机器成为PRIMARY

"_id" : 1,
			"name" : "192.168.31.138:27017",
			"health" : 1,
			"state" : 1,
			"stateStr" : "PRIMARY", 
			"uptime" : 2692,
			"optime" : {
				"ts" : Timestamp(1552997408, 1),
				"t" : NumberLong(18)

 

MongoDB分片介绍

•分片就是将数据库进行拆分，将大型集合分隔到不同服务器上。比如，本来100G的数据，可以分割成10份存储到10台服务器上，这样每台机器只有10G的数据。

• 通过一个mongos的进程（路由）实现分片后的数据存储与访问，也就是说mongos是整个分片架构的核心，对客户端而言是不知道是否有分片的，客户端只需要把读写操作转达给mongos即可。

• 虽然分片会把数据分隔到很多台服务器上，但是每一个节点都是需要有一个备用角色的，这样能保证数据的高可用。

• 当系统需要更多空间或者资源的时候，分片可以让我们按需方便扩展，只需要把mongodb服务的机器加入到分片集群中即可

 

3caecdba511049c127c88a03cf5f5f70517.jpg

MongoDB分片相关概念

• mongos: 数据库集群请求的入口，所有的请求都通过mongos进行协调，不需要在应用程序添加一个路由选择器，mongos自己就是一个请求分发中心，它负责把对应的数据请求请求转发到对应的shard服务器上。在生产环境通常有多mongos作为请求的入口，防止其中一个挂掉所有的mongodb请求都没有办法操作。

• config server: 配置服务器，存储所有数据库元信息（路由、分片）的配置。mongos本身没有物理存储分片服务器和数据路由信息，只是缓存在内存里，配置服务器则实际存储这些数据。mongos第一次启动或者关掉重启就会从 config server 加载配置信息，以后如果配置服务器信息变化会通知到所有的 mongos 更新自己的状态，这样 mongos 就能继续准确路由。在生产环境通常有多个 config server 配置服务器，因为它存储了分片路由的元数据，防止数据丢失！

• shard: 存储了一个集合部分数据的MongoDB实例，每个分片是单独的mongodb服务或者副本集，在生产环境中，所有的分片都应该是副本集。

 

 

分片搭建

服务器规划

•三台机器 A B C

• A搭建：mongos、config server、副本集1主节点、副本集2仲裁、副本集3从节点

• B搭建：mongos、config server、副本集1从节点、副本集2主节点、副本集3仲裁

• C搭建：mongos、config server、副本集1仲裁、副本集2从节点、副本集3主节点

• 端口分配：mongos 20000、config 21000、副本集1 27001、副本集2 27002、副本集3 27003

• 三台机器全部关闭firewalld服务和selinux，或者增加对应端口的规则

 

 

创建目录

•分别在三台机器上创建各个角色所需要的目录

• mkdir -p /data/mongodb/mongos/log

• mkdir -p /data/mongodb/config/{data,log}

• mkdir -p /data/mongodb/shard1/{data,log}

• mkdir -p /data/mongodb/shard2/{data,log}

• mkdir -p /data/mongodb/shard3/{data,log}

 

config server配置

•mongodb3.4版本以后需要对config server创建副本集

• 添加配置文件(三台机器都操作)

• mkdir /etc/mongod/

• vim /etc/mongod/config.conf //加入如下内容

pidfilepath = /var/run/mongodb/configsrv.pid

dbpath = /data/mongodb/config/data

logpath = /data/mongodb/config/log/congigsrv.log

logappend = true

bind_ip = 0.0.0.0

port = 21000

fork = true

configsvr = true #declare this is a config db of a cluster;

replSet=configs #副本集名称

maxConns=20000 #设置最大连接数

•启动三台机器的config server

• mongod -f /etc/mongod/config.conf  //三台机器都要操作

mongod -f  /etc/mongod/config.conf 
about to fork child process, waiting until server is ready for connections.
forked process: 14599
child process started successfully, parent exiting

• 登录任意一台机器的21000端口，初始化副本集

• mongo --port 21000

• config = { _id: "configs", members: [ {_id : 0, host : "192.168.133.130:21000"},{_id : 1, host : "192.168.133.132:21000"},{_id : 2, host : "192.168.133.133:21000"}] }

• rs.initiate(config)

{ "ok" : 1 }

[root@harry-01 ~]# mongo --host 192.168.31.137 --port 21000
>config = { _id: "config", members: [ {_id : 0, host : "192.168.31.137:21000"},{_id : 1, host : "192.168.31.138:21000"},{_id : 2, host : "192.168.31.139:21000"}] }
{
	"_id" : "config",
	"members" : [
		{
			"_id" : 0,
			"host" : "192.168.31.137:21000"
		},
		{
			"_id" : 1,
			"host" : "192.168.31.138:21000"
		},
		{
			"_id" : 2,
			"host" : "192.168.31.139:21000"
		}
	]
}

> rs.initiate(config)
{ "ok" : 1 }

 

 分片配置

•添加配置文件(三台机器都操作)

shard1.conf shard2.conf sharde.conf 

• vim /etc/mongod/shard1.conf //加入如下内容

pidfilepath = /var/run/mongodb/shard1.pid

dbpath = /data/mongodb/shard1/data

logpath = /data/mongodb/shard1/log/shard1.log

logappend = true

bind_ip = 0.0.0.0

port = 27001

fork = true

httpinterface=true #打开web监控

rest=true

replSet=shard1 #副本集名称

shardsvr = true #declare this is a shard db of a cluster;

maxConns=20000 #设置最大连接数

•启动shard1

• mongod -f /etc/mongod/shard1.conf //三台机器都要操作

[root@harry-01 ~]# mongod -f /etc/mongod/shard1.conf 
about to fork child process, waiting until server is ready for connections.
forked process: 6391
child process started successfully, parent exiting

登录137或者138任何一台机器的27001端口初始化副本集，139之所以不行，是因为shard1我们把137这台机器的27001端口作为了仲裁节点

[root@harry-01 ~]# mongo --port 27001
> use admin
switched to db admin
> config = { _id: "shard1", members: [ {_id : 0, host : "192.168.31.137:27001"}, {_id: 1,host : "192.168.31.138:27001"},{_id : 2, host : "192.168.31.139:27001",arbiterOnly:true}] }
{
	"_id" : "shard1",
	"members" : [
		{
			"_id" : 0,
			"host" : "192.168.31.137:27001"
		},
		{
			"_id" : 1,
			"host" : "192.168.31.138:27001"
		},
		{
			"_id" : 2,
			"host" : "192.168.31.139:27001",
			"arbiterOnly" : true
		}
	]
}
> rs.initiate(config)
{ "ok" : 1 }
shard1:OTHER>

• 启动shard2

• mongod -f /etc/mongod/shard2.conf //三台机器都要操作

[root@harry-01 ~]# mongod -f /etc/mongod/shard2.conf 
about to fork child process, waiting until server is ready for connections.
forked process: 6512
child process started successfully, parent exiting

登录138或者139任何一台机器的27002端口初始化副本集，137之所以不行，是因为shard2我们把137这台机器的27002端口作为了仲裁节点

[root@harry-01 ~]# mongo --port 27002
> use admin
switched to db admin
> config = { _id: "shard2", members: [ {_id : 0, host : "192.168.31.137:27002" ,arbiterOnly:true},{_id : 1, host : "192.168.31.138:27002"},{_id : 2, host : "192.168.31.139:27002"}] }
{
	"_id" : "shard2",
	"members" : [
		{
			"_id" : 0,
			"host" : "192.168.31.137:27002",
			"arbiterOnly" : true
		},
		{
			"_id" : 1,
			"host" : "192.168.31.138:27002"
		},
		{
			"_id" : 2,
			"host" : "192.168.31.139:27002"
		}
	]
}
> rs.initiate(config)
{ "ok" : 1 }
shard2:OTHER>

•启动shard3

• mongod -f /etc/mongod/shard3.conf //三台机器都要操作

[root@harry-01 ~]# mongod -f /etc/mongod/shard3.conf 
about to fork child process, waiting until server is ready for connections.
forked process: 6577
child process started successfully, parent exiting

登录137或者139任何一台机器的27003端口初始化副本集，138之所以不行，是因为shard3我们把138这台机器的27003端口作为了仲裁节点

 

[root@harry-01 ~]# mongo --port 27003
MongoDB shell version v3.4.20
connecting to: mongodb://127.0.0.1:27003/
MongoDB server version: 3.4.20
> use admin
switched to db admin
> config = { _id: "shard3", members: [ {_id : 0, host : "192.168.31.137:27003"},  {_id : 1, host : "192.168.31.138:27003", arbiterOnly:true}, {_id : 2, host : "192.168.31.139:27003"}] }
{
	"_id" : "shard3",
	"members" : [
		{
			"_id" : 0,
			"host" : "192.168.31.137:27003"
		},
		{
			"_id" : 1,
			"host" : "192.168.31.138:27003",
			"arbiterOnly" : true
		},
		{
			"_id" : 2,
			"host" : "192.168.31.139:27003"
		}
	]
}
> rs.initiate(config)
{ "ok" : 1 }
shard3:OTHER>

配置路由服务器

•添加配置文件(三台机器都操作)

• vim /etc/mongod/mongos.conf //加入如下内容

pidfilepath = /var/run/mongodb/mongos.pid

logpath = /data/mongodb/mongos/log/mongos.log

logappend = true

bind_ip = 0.0.0.0

port = 20000

fork = true

configdb = configs/192.168.31.137:21000, 192.168.31.138:21000, 192.168.31.139:21000 #监听的配置服务器,只能有1个或者3个，configs为配置服务器的副本集名字

maxConns=20000 #设置最大连接数

启用分片

•登录任何一台20000端口

• mongo --port 20000  

• 把所有分片和路由器串联

•sh.addShard("shard1/192.168.31.137:27001,192.168.31.138:27001,192.168.31.139:27001")

•sh.addShard("shard2/192.168.31.137:27002,192.168.31.138:27002,192.168.31.139:27002")

•sh.addShard("shard3/192.168.31.137:27003,192.168.31.138:27003,192.168.31.139:27003")

• 查看集群状态

 sh.status()

测试

•登录任何一台20000端口

• mongo --port 20000  

• use admin

• db.runCommand({ enablesharding : "testdb"}) 或者

• sh.enableSharding("testdb") //指定要分片的数据库

• db.runCommand( { shardcollection : "testdb.table1",key : {id: 1} } ) 或者

• sh.shardCollection("testdb.table1",{"id":1} ) //#指定数据库里需要分片的集合和片键

• use  testdb

• for (var i = 1; i <= 10000; i++) db.table1.save({id:i,"test1":"testval1"})//插入测试数据

 db.table1.stats()//查看table1状态

 

MongoDB备份

•备份指定库

• mongodump --host 127.0.0.1 --port 20000  -d mydb -o /tmp/mongobak

• 它会在/tmp/目录下面生成一个mydb的目录

• 备份所有库

• mongodump --host 127.0.0.1 --port 20000 -o /tmp/mongobak/alldatabase

• 指定备份集合

• mongodump --host 127.0.0.1 --port 20000 -d mydb -c c1 -o /tmp/mongobak/

• 它依然会生成mydb目录，再在这目录下面生成两个文件

• 导出集合为json文件

• mongoexport --host 127.0.0.1 --port 20000 -d mydb -c c1 -o /tmp/mydb2/1.json

 

MongoDB恢复

•恢复所有库

• mongorestore -h 127.0.0.1 --port 20000 --drop dir/ //其中dir是备份所有库的目录名字，其中--drop可选，意思是当恢复之前先把之前的数据删除，不建议使用

• 恢复指定库

• mongorestore -d mydb dir/  //-d跟要恢复的库名字，dir就是该库备份时所在的目录

• 恢复集合

•mongorestore -d mydb -c testc dir/mydb/testc.bson // -c后面跟要恢复的集合名字，dir是备份mydb库时生成文件所在路径，这里是一个bson文件的路径

• 导入集合

• mongoimport -d mydb -c testc --file /tmp/testc.json

 

 

转载于:https://my.oschina.net/u/3993226/blog/3024832

chuangu7098
关注
mongoDB副本集和分片
llilin_的博客
04-28 1419
搭建MongoDB可采取复用主机的方式，两分片式集群部署，有4个数据节点，至少需要4台服务器。
mongoDB副本集与分片
qq_30608719的博客
01-07 1765
mongoDB主从复制主从复制是sql server 最常用的复制方式,这种方式很灵活.可用于备份,故障恢复,读扩展等. 最基本的设置方式就是建立一个主节点和一个或多个从节点,每个从节点要知道主节点的地址. 这里我们用一主一从实现mongodb的复制 网易蜂巢的容器已经安装好了mongoDB,直接就可以运行mongo Client,我们要创建自己的mongod实例, 首先把容器自行运行的
Mongodb 副本集+分片
10-13 222
mongodb的分片功能是建立在副本集之上的，所以首先我们尝试着配置副本集。 docker启动3个已经安装好mongo的镜像 # docker run -idt --name mongodb_01 mongodb_master:v2 /bin/bash # docker run -idt --name mongodb_02 mongodb_master:v2 /bin/bash...
【mongodb副本集和分片】
程序媛小小平的博客
09-30 194
mongodb用于生产环境大概有三种模式： 主从模式Master/slaves 副本集Replaction 分片模式Auto Shard 主从模式Master/slaves（已不推荐使用） 将读写分离，有效降低数据库的压力，实现数据的备份； master出现故障，不能及时自动切换到slaves，需要手动干预； 副本集模式 数据复制，多份保存，每个副本保存一套完整的数据，避免了因一台机器出现问题...
mongodb副本集+分片搭建记录
mzx1281077338的博客
03-13 321
mongodb副本集+分片搭建（2020-01-14）： 1、架构简介 单机搭建mongodb伪分布式集群(副本集 + 分片)，演示mongodb分布式集群的安装部署 2、环境准备 172.31.97.98物理机 centos7.6 mongodb-linux-x86_64-rhel70-3.4.20.tgz 参考文档：https://www.cnblogs.com/littleatp/p/8...
MongoDB副本集、分片综合应用
最新发布
2301_82308696的博客
04-23 1106
MongoDB 副部集（Secondary Replica Set）和分片（Sharding）技术是 MongoDB 中的两个重要功能，它们提供了高可用性、数据冗余和可扩展性。副部集技术用于实现数据冗余和故障转移，确保在出现故障时，系统能够继续正常运行。分片技术则用于实现数据水平拆分，提高系统的性能和可扩展性。
MongoDB——副本集与分片
yusupali19的博客
04-23 1156
MongoDB复制是将数据同步在多个服务器的过程。复制提供了数据的冗余备份，并在多个服务器上存储数据副本，提高了数据的可用性， 并可以保证数据的安全性。复制还允许您从硬件故障和服务中断中恢复数据。什么是复制1保障数据的安全性2数据高可用性 (24*7)3灾难恢复4无需停机维护（如备份，重建索引，压缩）5分布式读取数据6MongoDB复制原理7mongodb的复制至少需要两个节点。其中一个是主节点，负责处理客户端请求，其余的都是从节点，负责复制主节点上的数据。
MongoDB的副本集及分片综合应用
pengp_123的博客
04-23 962
在Mongodb里面存在另一种集群，就是分片技术,可以满足MongoDB数据量大量增长的需求。当MongoDB存储海量的数据时，一台机器可能不足以存储数据，也可能不足以提供可接受的读写吞吐量。这时，我们就可以通过在多台机器上分割数据，使得数据库系统能存储和处理更多的数据。副本集就是为了解决mongodb的可靠性， MongoDB复制是将数据同步在多个服务器的过程。复制提供了数据的冗余备份，并在多个服务器上存储数据副本，提高了数据的可用性，并可以保证数据的安全性。复制还允许您从硬件故障和服务中断中恢复数据。
Mongodb副本集和分片示例详解
09-09
要搭建一个MongoDB副本集，你需要启动至少两个MongoDB实例，并在每个实例启动时指定`--replSet`参数，例如： ```bash # 主节点 mongod --bind_ip=0.0.0.0 --port=27018 --logpath=/var/log/mongodb/mongodb_4_0_10....
MongoDB副本集与分片
weixin_38932035的博客
05-18 1820
一、MongoDB 副本集 1.1、MongoDB复制 在mongodb学习阶段，一般功德都是单台服务器，一个mongod服务进程。如果仅仅作为学习开发是可以的，但是如果用到生产环境，风险会很高，例如服务器崩溃、硬件出现问题，最坏的情况是磁盘或网络出问题可能会导致数损坏或数据不可访问。 MongoDB复制是将数据同步在多个服务器的过程。 复制提供了数据的冗余备份，并在多个服务器上存储数据副本，提高了数据的可用性， 并可以保证数据的安全性。 1.2、副本集 副本集是一组维护相同数据集的mongod实例。 副本
Docker配置samba共享, mac访问
weixin_42472513的博客
04-22 1143
Docker配置samba共享, mac访问 1. 下载samba镜像 [docker@PI_192.168.31.137 23:11:59~]$ docker pull dperson/samba 2. 开放端口 [docker@PI_192.168.31.137 23:13:33~]$ sudo firewall-cmd --get-active-zones #永久添加端口 [docker@PI_192.168.31.137 23:17:51~]$ sudo firewall-cmd --zone=
怎么在Linux上永久的修改ip
weixin_37021126的博客
12-11 969
首先我们来看一下ip 小编这里的就是192.168.31.137，子网掩码是255.255.255.0 我们要永久修改IP地址的话，只能修改网卡的配置文件。 我们先改变路径。 cd /etc/sysconfig/network-scripts ls查看目录文件。 我们可以看到我们的eth33的配置文件是ifcfg-eth33 我们vim ifcfg-eth0打开配置文件 可以看到，小编这里使用...
Call From DESKTOP-FJJN71F/192.168.99.1 to 192.168.137.121:8020 failed on connection exception
weixin_43735035的博客
09-09 1639
问题 Call From DESKTOP-FJJN71F/192.168.99.1 to 192.168.137.121:8020 failed on connection exception: java.net.ConnectException: Connection refused: no further information; For more details see: 解决办法 首先要确定你的hdfs是否开启。 然后查看网页查看自己的hdfs端口号是否一致 ...
MongoDB主从集群、副本集与分片
YHJ
05-12 1616
在实际生产中，为了防止数据丢失，我们需要搭建主从集群来同步数据；有时候当数据库中的数据量很大的时候，一台服务器无法存储，这时我们需要扩展多台机器来存储我们的数据，这时需要用到MongoDB的分片操作。 转发请标明原文地址：【原文链接】 一、主从复制 对于主从复制的原理，非常简单，简单的说就是几台机器之间进行同步操作，我们在主节点上操作数据，需要同步到其他子节点上。下面我们来实战一下。首先创建一个cluster文件夹，然后在该文件夹中创建两个子文件夹master和slave分别存放主从节点的数据文件。
socket发送接收 byte_听说你还不会Socket编程！
weixin_39553352的博客
01-18 759
作者：zskingking博客：https://www.jianshu.com/p/b04930d2b85e上周我们描述了传输层协议TCP、UDP，但它们毕竟只是协议，看不见摸不着，那我们怎们通过TCP、和UDP进行实际传输呢？不用着急，等看完这篇文章你一定会明白的。Socket概述Socket中文意思为插座的意思，专业术语称之为套接字，它把TCP/IP封装成了调用接口供开发者调用，也就是说开发者...
搞了两周Socket通信，终于弄明白了！--文末送书
全栈开发者社区
11-19 1100
点击上方[全栈开发者社区]→右上角[...]→[设为星标⭐]作者：zskingking博客：https://www.jianshu.com/p/b04930d2b85e传...
Linux监控平台，zabbix监控
chuangu7098的博客
01-07 1152
常见开源监控软件 cacti、nagios、zabbix、smokeping、open-falcon等等 cacti、smokeping偏向于基础监控，成图非常漂亮 cacti、nagios、zabbix服务端监控中心，需要php环境支持，其中zabbix和cacti都需要mys...
192.168.137.1有什么特殊含义吗？
热门推荐
认知 行动 坚持
11-29 2万+
最近， 用笔记本电脑A共享网络给树莓派（网络直连），  用笔记本电脑A共享网络给另外一台电脑（树莓派）， 发现树无论是树莓派， 还是另外一台电脑， ip地址都是192.168.137.x,  网关都是：192.168.137.1， 不会是凑巧吧？         查了一下， 搞清楚了：Windos 7中，"Internet连接共享"，默认使用192.168.137.0/255做为内网地址，192
socket接收数据_听说你还不会Socket编程！
weixin_39682301的博客
11-26 589
作者：zskingking博客：https://www.jianshu.com/p/b04930d2b85e上周我们描述了传输层协议TCP、UDP，但它们毕竟只是协议，看不见摸不着，那我们怎们通过TCP、和UDP进行实际传输呢？不用着急，等看完这篇文章你一定会明白的。Socket概述Socket中文意思为插座的意思，专业术语称之为套接字，它把TCP/IP封装成了调用接口供开发者调用，也就是说开发者...
MongoDB副本集与分片技术详解
"副本集简介-MongoDB分片副本级" MongoDB的副本集和分片是两种关键的分布式数据管理技术，它们旨在提高数据库的可用性、可扩展性和容错性。 副本集简介： MongoDB的副本集是通过在多个 mongod 实例之间复制数据来...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值