Codis+redis 集群测试

最新推荐文章于 2024-10-09 08:59:12 发布
最新推荐文章于 2024-10-09 08:59:12 发布
阅读量235 收藏
点赞数
文章标签： 数据库 大数据 java
原文链接：http://www.cnblogs.com/hellojackyleon/p/9566492.html
版权

 

Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有显著区别 (不支持的命令列表), 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 所有后边的一切事情, 对于前面的客户端来说是透明的, 可以简单的认为后边连接的是一个内存无限大的 Redis 服务

 

组件说明：

Codis 3.x 由以下组件组成：

 

Codis Server：基于 redis-3.2.8 分支开发。增加了额外的数据结构，以支持 slot 有关的操作以及数据迁移指令。具体的修改可以参考文档 redis 的修改。

 

Codis Proxy：客户端连接的 Redis 代理服务, 实现了 Redis 协议。 除部分命令不支持以外(不支持的命令列表)，表现的和原生的 Redis 没有区别（就像 Twemproxy）。

 

对于同一个业务集群而言，可以同时部署多个 codis-proxy 实例；

不同 codis-proxy 之间由 codis-dashboard 保证状态同步。

Codis Dashboard：集群管理工具，支持 codis-proxy、codis-server 的添加、删除，以及据迁移等操作。在集群状态发生改变时，codis-dashboard 维护集群下所有 codis-proxy 的状态的一致性。

 

redis-sentinel:可以实现对Redis的监控、通知、自动故障转移。如果Master不能工作，则会自动启动故障转移进程，将其中的一个Slave提升为Master，其他的Slave重新设置新的Master服务。Sentinel的配置由 codis-dashboard和zookeeper一起控制,不需要手工填写.

codis-fe:集群web管理界面。

对于同一个业务集群而言，同一个时刻 codis-dashboard 只能有 0个或者1个；

所有对集群的修改都必须通过 codis-dashboard 完成。

Codis Admin：集群管理的命令行工具。

 

可用于控制 codis-proxy、codis-dashboard 状态以及访问外部存储。

Codis FE：集群管理界面。

 

多个集群实例共享可以共享同一个前端展示页面；

通过配置文件管理后端 codis-dashboard 列表，配置文件可自动更新。

Storage：为集群状态提供外部存储。

 

提供 Namespace 概念，不同集群的会按照不同 product name 进行组织；

目前仅提供了 Zookeeper、Etcd、Fs 三种实现，但是提供了抽象的 interface 可自行扩展。

 整体架构 如下

1、测试环境如下
zookeeper-3.4.10 第一台部署两个 zookeeper，第二台部署一台
Codis-3.2
Centos6.8

2、安装go运行环境

yum install -y gcc glibc gcc-c++ make git mercurial

wget https://dl.google.com/go/go1.9.2.linux-amd64.tar.gz  

3、设置编译环境

tar xf go1.9.2.linux-amd64.tar.gz

mv go /usr/local/

[root@open-falcon-server tools]# mv go /usr/local/

[root@open-falcon-server tools]#  mkdir /usr/local/go/work

[root@open-falcon-server tools]# vim /root/.bash_profile

PATH=$PATH:$HOME/bin

 

export PATH=$PATH:/usr/local/go/bin

export GOROOT=/usr/local/go

export GOPATH=/usr/local/go/work

path=$PATH:$HOME/bin:$GOROOT/bin:$GOPATH/bin

 

[root@open-falcon-server tools]# source /root/.bash_profile

[root@open-falcon-server tools]# echo $GOPATH

/usr/local/go/work

[root@open-falcon-server tools]# go version

go version go1.9.4 linux/amd64

 4、设置java环境变量

[root@open-falcon-server tools]# tar xf jdk-8u171-linux-x64.tar.gz

[root@open-falcon-server tools]# mv jdk1.8.0_171/  /usr/local/

 

[root@open-falcon-server appadmin]# source /etc/profile

[root@open-falcon-server appadmin]# tail -2 /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_171

export PATH=$JAVA_HOME/bin:$PATH

[root@open-falcon-server appadmin]# java -version

java version "1.8.0_171"

Java(TM) SE Runtime Environment (build 1.8.0_171-b11)

Java HotSpot(TM) 64-Bit Server VM (build 25.171-b11, mixed mode)

 

5、部署zookeeper


[root@open-falcon-server tools]# wget  http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz 
[root@open-falcon-server tools]# tar xf zookeeper-3.4.10.tar.gz 
[root@open-falcon-server tools]# mv zookeeper-3.4.10 /usr/local/
[root@open-falcon-server tools]# ln -s /usr/local/zookeeper-3.4.10/ /usr/local/zookeeper

[root@open-falcon-server data]# cd /data/
[root@open-falcon-server data]# mkdir zk1 zk2 
[root@open-falcon-server data]# echo 1 >zk1/myid
[root@open-falcon-server data]# echo 2>zk2/myid
cp /usr/local/zookeeper-3.4.10/conf/zoo_sample.cfg /data/zk1/zk1.cfg
[root@open-falcon-server zk1]# grep "^[a-z]" zk1.cfg 
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zk1
clientPort=2181
server.1=10.8.18.120:2887:3887
server.2=10.8.18.120:2888:3888
server.3=10.8.18.121:2889:3889

[root@open-falcon-server zk1]# grep "^[a-z]" ../zk2/zk2.cfg 
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zk2
clientPort=2182
server.1=10.8.18.120:2887:3887
server.2=10.8.18.120:2888:3888
server.3=10.8.18.121:2889:3889


#第二台
[root@Yeahka-6 tools]# cd /data/
[root@Yeahka-6 data]# ll
总用量 0
[root@Yeahka-6 data]# mkdir zk3
[root@Yeahka-6 data]# echo 3 > zk3/myid
[root@codis-2 data]# cp /usr/local/zookeeper/conf/zoo_sample.cfg /data/zk3/zk3.cfg
[root@codis-2 data]# grep "^[a-z]" zk3/zk3.cfg 
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/data/zk3
clientPort=2183
server.1=10.8.18.120:2887:3887
server.2=10.8.18.120:2888:3888
server.3=10.8.18.121:2889:3889

 

6、启动两台机器的zookeeper

[root@open-falcon-server zk1]# /usr/local/zookeeper/bin/zkServer.sh start /data/zk1/zk1.cfg

ZooKeeper JMX enabled by default

Using config: /data/zk1/zk1.cfg

Starting zookeeper ... STARTED

[root@open-falcon-server zk1]#

[root@open-falcon-server zk1]# /usr/local/zookeeper/bin/zkServer.sh start /data/zk2/zk2.cfg

[root@codis-2 data]# /usr/local/zookeeper/bin/zkServer.sh start /data/zk3/

 
  
3.2查看状态
 
  
[root@codis-2 data]# /usr/local/zookeeper/bin/zkServer.sh status /data/zk3/zk3.cfg
 
  
 
  
ZooKeeper JMX enabled by default
 
  
 
  
Using config: /data/zk3/zk3.cfg
 
  
 
  
Mode: leader
 
  
 
  
[root@open-falcon-server appadmin]# /usr/local/zookeeper/bin/zkServer.sh status /data/zk1/zk1.cfg
 
  
 
  
ZooKeeper JMX enabled by default
 
  
 
  
Using config: /data/zk1/zk1.cfg
 
  
 
  
Mode: follower
 
  
 
  
[root@open-falcon-server appadmin]# /usr/local/zookeeper/bin/zkServer.sh status /data/zk2/zk2.cfg
 
  
 
  
ZooKeeper JMX enabled by default
 
  
 
  
Using config: /data/zk2/zk2.cfg
 
  
 
  
Mode: follower
 
  
 
 
 
 
 
 
 
 
7、测试连接到zookeeper节点
 
 
[root@open-falcon-server appadmin]# /usr/local/zookeeper/bin/zkCli.sh -server 10.8.18.121:2183
 
 
 
 
 
 
 
8、部署codis3.2
 
 
 
 
 
 
  

[root@open-falcon-server appadmin]# mkdir -p $GOPATH/src/github.com/CodisLabs
[root@open-falcon-server appadmin]# cd  /usr/local/go/work/src/github.com/CodisLabs
[root@open-falcon-server CodisLabs]# git clone https://github.com/CodisLabs/codis.git -b release3.2
[root@open-falcon-server CodisLabs]# cd $GOPATH/src/github.com/CodisLabs/codis
[root@open-falcon-server codis]# pwd
/usr/local/go/work/src/github.com/CodisLabs/codis

[root@open-falcon-server codis]#yum install autoconf automake libtool -y
[root@open-falcon-server codis]# make
[root@open-falcon-server codis]# make
make -j4 -C extern/redis-3.2.11/
make[1]: Entering directory `/usr/local/go/work/src/github.com/CodisLabs/codis/extern/redis-3.2.11'
cd src && make all
make[2]: Entering directory `/usr/local/go/work/src/github.com/CodisLabs/codis/extern/redis-3.2.11/src'

Hint: It's a good idea to run 'make test' ;)

make[2]: Leaving directory `/usr/local/go/work/src/github.com/CodisLabs/codis/extern/redis-3.2.11/src'
make[1]: Leaving directory `/usr/local/go/work/src/github.com/CodisLabs/codis/extern/redis-3.2.11'
go build -i -o bin/codis-dashboard ./cmd/dashboard
go build -i -tags "cgo_jemalloc" -o bin/codis-proxy ./cmd/proxy
go build -i -o bin/codis-admin ./cmd/admin
go build -i -o bin/codis-ha ./cmd/ha
go build -i -o bin/codis-fe ./cmd/fe
 
 
 
 
 
 
9、配置dashboard
 
 
 
 
 
 
  

[root@codis-2 codis]# cd /usr/local/go/work/src/github.com/CodisLabs/codis/config/
[root@codis-2 config]# cp dashboard.toml dashboard.toml.ori
[root@codis-2 config]# vim dashboard.toml
coordinator_name = "zookeeper"
coordinator_addr = "10.8.18.120:2181,10.8.18.120:2182,10.8.18.121:2183"
product_auth = "hello123"

启动dashboard
./admin/codis-dashboard-admin.sh start

启动proxy
[root@codis-2 codis]# ./admin/codis-proxy-admin.sh start

Proxy
product_name = "codis-fengkong"
product_auth = "hello123"

jodis_name = "zookeeper"
jodis_addr = "192.168.11.225:2181,192.168.11.225:2182,192.168.11.226:2183"
jodis_timeout = "20s"
jodis_compatible = true
4、2 部署redis
[root@open-falcon-server codis]#  mkdir -pv /var/lib/redis_638{1..2}
[root@codis-2 codis]#  mkdir -pv /var/lib/redis_638{3..4}

[root@open-falcon-server codis]# cd /usr/local/go/work/src/github.com/CodisLabs/codis/extern/redis-3.2.11/
[root@open-falcon-server redis-3.2.11]# cp redis.conf /usr/local/go/work/src/github.com/CodisLabs/codis/
[root@open-falcon-server redis-3.2.11]# cd /usr/local/go/work/src/github.com/CodisLabs/codis/

修改redis.conf
pidfile /var/run/redis_6381.pid
port 6381
bind 10.8.18.120
requirepass hello123
dbfilename dump_6381.rdb
dir /var/lib/redis_6381
logfile "/tmp/redis_6381.log"
maxmemory 256M
[root@open-falcon-server codis]# cp redis.conf redis_6381.conf
[root@open-falcon-server codis]# cp redis_6381.conf redis_6382.conf 
[root@open-falcon-server codis]# vim redis_6382.conf 
[root@open-falcon-server codis]# sed -i 's/6381/6382/g' redis_6382.conf


[root@open-falcon-server codis]# ./bin/codis-server ./redis_6381.conf 
[root@open-falcon-server codis]# ./bin/codis-server ./redis_6382.conf 
 
 
 
 
 
 
 
 
 
 
  
[root@codis-2 codis]# cp redis_6381.conf redis_6383.conf 
[root@codis-2 codis]# cp redis_6381.conf redis_6384.conf 
[root@codis-2 codis]# sed -i 's/6381/6383/g' redis_6383.conf
[root@codis-2 codis]#  sed -i 's/6381/6384/g' redis_6384.conf

[root@codis-2 codis]# ./bin/codis-server ./redis_6383.conf 
[root@codis-2 codis]# ./bin/codis-server ./redis_6384.conf 
 
 
 
 
 
 
 
  
启动codis-fe，Listen监听端口不要为8080，指定8090
[root@codis-2 codis]# nohup ./bin/codis-fe --ncpu=1 --log=fe.log --log-level=WARN --zookeeper=10.8.18.121:2183 --listen=10.8.18.121:8090 &
通过网页访问：http://10.8.18.121:8090 可以看到codis的管理页面
 
 
 
 
 
 
 
 
 
 
 
 
 
 
通过fe添加group
 
 
通过web浏览器访问集群管理页面(fe地址:10.8.18.121:8090) 选择我们刚搭建的集群 codis-demo，在 Proxy 栏可看到我们已经启动的 Proxy， 但是 Group 栏为空，因为我们启动的 codis-server 并未加入到集群 添加 NEW GROUP，NEW GROUP 行输入 1，再点击 NEW GROUP 即可 添加 Codis Server，
 
 
 
 
对slots进行分组
 
 
 
 
 
如下图所示，输入所要分组的slots的起和止的范围，然后输入组ID，点击后面按钮即可。
 
 
 
 
 
 
通过proxy 连接redis测试
 
 
 
 
 
 
Web界面查看key是否添加成功
 
 
 
 
生产环境下，为了使整体架构更加完整  我们在codis-proxy前面 加个 haproxy+keepalived  ，codis-server(即redis)  我们采用 redis-sentinel  来进行组内的主备切换
 
 
 
 
 
10、haproxy+keepalived
 
 
 
  
###haproxy  配置  主上面配置
 
  
global
     log 127.0.0.1     local0
     maxconn 40960 
     #chroot /usr/share/haproxy
     user haproxy
     group haproxy
     nbproc 4
     daemon
     pidfile /var/run/haproxy.pid
     #debug
     #quiet

defaults
     log     global
     mode     tcp
     option     tcplog
     retries    3
     #maxconn     2000
     timeout connect 10s
     timeout client 20s
     timeout server 30s
     timeout check 5s
#martin add 20180831
listen channel_posp_socket_1 0.0.0.0:10000
    balance roundrobin
    server codis_proxy_server_1 192.168.11.225:19000 weight 50 check
    server codis_proxy_server_2 192.168.11.226:19000 weight 50 check

###keepalived 配置
 
  
[root@ config]# cat /etc/keepalived/keepalived.conf
global_defs {
 notification_email {
martin@qq.com
 }
 notification_email_from keepalived@domain.com
 smtp_server 127.0.0.1
 smtp_connect_timeout 30
 router_id LVS_DEVEL
}
 
  
#LAN virtual IP
vrrp_instance VI_12 {
 state MASTER
 interface bond0
 virtual_router_id 111 
 mcast_src_ip 192.168.11.226
 priority 101
 advert_int 5
 authentication {
 auth_type PASS
 auth_pass 1210
 }
 virtual_ipaddress {
 192.168.11.8/24 dev bond0 scope global
 }
}
 
  
 
 
  
从上面配置
 
  
global
 log 127.0.0.1 local0
 maxconn 40960 
 #chroot /usr/share/haproxy
 user haproxy
 group haproxy
 nbproc 4
 daemon
 pidfile /var/run/haproxy.pid
 #debug
 #quiet
 
  
defaults
 log global
 mode tcp
 option tcplog
 retries 3
 #maxconn 2000
 timeout connect 10s
 timeout client 20s
 timeout server 30s
 timeout check 5s
 
  

#martin add 20180831
listen channel_posp_socket_1 0.0.0.0:10000
 balance roundrobin
 server codis_proxy_server_1 192.168.11.225:19000 weight 50 check
 server codis_proxy_server_2 192.168.11.226:19000 weight 50 check
 
  
 
 
  
 
 
  
#keepalived
 
  
global_defs {
 notification_email {
 martin@qq.com
 }
 notification_email_from keepalived@domain.com
 smtp_server 127.0.0.1
 smtp_connect_timeout 30
 router_id LVS_DEVEL
}
 
  
#LAN virtual IP
vrrp_instance VI_12 {
 state BACKUP
 interface bond0
 virtual_router_id 111 
 mcast_src_ip 192.168.11.225
 priority 110
 advert_int 5
 authentication {
 auth_type PASS
 auth_pass 1210
 }
 virtual_ipaddress {
 192.168.11.8/24 dev bond0 scope global
 }
}
 
  
 
 
  
 
 
 
 
 
 
 
 
11、redis-sentinel 配置如下
 
 
 
  
正确来说,redis-sentinel是要配置主从架构才能生效,但是在codis集群中并不一样,因为他的配置由zookeeper来维护,所以,这里codis使用的redis-sentinel只需要配置一些基本配置就可以了.

bind 0.0.0.0
protected-mode no
port 26379
dir "/var/lib/redis_sentinel"
 
  
pidfile "/var/run/redis_sentinel_26379.pid"
logfile "/tmp/redis_sentinel_26379.log"
daemonize yes
 
  

#然后就可以启动了
/usr/local/codis/redis-sentinel sentinel.conf
#验证一下
redis-cli -p 26379 -c info Sentinel
 
  
# Sentinel
sentinel_masters:8
sentinel_tilt:0
sentinel_running_scripts:0
sentinel_scripts_queue_length:0
sentinel_simulate_failure_flags:0
master0:name=codis-fengkong-8,status=ok,address=192.168.11.226:6370,slaves=1,sentinels=2
master1:name=codis-fengkong-3,status=ok,address=192.168.11.225:6385,slaves=1,sentinels=2
master2:name=codis-fengkong-5,status=ok,address=192.168.11.226:6387,slaves=1,sentinels=2
master3:name=codis-fengkong-4,status=ok,address=192.168.11.226:6386,slaves=1,sentinels=2
master4:name=codis-fengkong-2,status=ok,address=192.168.11.226:6384,slaves=1,sentinels=2
master5:name=codis-fengkong-7,status=ok,address=192.168.11.226:6389,slaves=1,sentinels=2
master6:name=codis-fengkong-6,status=ok,address=192.168.11.226:6388,slaves=1,sentinels=2
master7:name=codis-fengkong-1,status=ok,address=192.168.11.225:6383,slaves=1,sentinels=2
 
  
 
 
 
 
 
 
 
 
 
 

 

转载于:https://www.cnblogs.com/hellojackyleon/p/9566492.html

                

        




    

  



    

      

        

            

              
                
                  dianxiaji9211
                
              
            

            

                关注
              
            

        

        

          
      

      










                



	

		

			

				
					
35 | Codis VS Redis Cluster：我该选择哪一个集群方案？

				
			

			

				

					qq_37756660的博客
				

				

					02-26
					
					1034
					
				

			

		

		

			
				
Redis 的切片集群使用多个实例保存数据，能够很好地应对大数据量的场景。在第 8 讲中，我们学习了 Redis 官方提供的切片集群方案 Redis Cluster，这为你掌握切片集群打下了基础。今天，再来进阶一下，我们来学习下 Redis Cluster 方案正式发布前，业界已经广泛使用的 Codis。会具体讲解 Codis 的关键技术实现原理，同时将 Codis 和 Redis Cluster 进行对比，帮你选出最佳的集群方案。好了，话不多说，我们先来学习下 Codis 的整体架构和流程。

			
		

	



                

            
              



	

		

			

				
					
Codis和Redis-cluster对比

				
			

			

				

					BAKI的博客
				

				

					11-27
					
					8083
					
				

			

		

		

			
				
Codis和Redis-cluster对比及性能测试
架构对比
redis cluster

redis 4.0版本的集群是去中心化的结构，集群元数据信息分布在每个节点上，主备切换依赖于多个节点协商选主。
redis 提供了redis-trib 工具做部署集群及运维等操作。
客户端访问散列的db节点需依赖smart client，也就是客户端需要对redis返回的节点信息做判断选择路由等操作。例如...

			
		

	



              


  
              

                


	

		

			

				
					
Codis分布式Redis解决方案 v3.2.2

				
			

			

				

					08-13
				

			

		

		

			
				
为您提供Codis分布式Redis解决方案下载，Codis是一个分布式Redis解决方案，对于上层的应用来说，连接到CodisProxy和连接原生的RedisServer没有明显的区别(不支持的命令列表)，上层应用可以像使用单机的Redis一样使用，Codis底层会处理请求的转发，不停机的数据迁移等工作，所有后边的一切事情，对于前面的客户端来说是透明的，可以简单的认为后边连接的是一个内存无限大的Redis服务。Codis由四部分组成：Codis

			
		

	





	

		

			

				
					
redis的分布式解决方式--codis

				
			

			

				

					weixin_34343689的博客
				

				

					02-18
					
					164
					
				

			

		

		

			
				


codis是豌豆荚开源的分布式server。眼下处于稳定阶段。
原文地址：https://github.com/wandoulabs/codis/blob/master/doc/tutorial_zh.md
Codis 是一个分布式 Redis 解决方式, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有明显的差别 (不支持的命令列表)...

			
		

	



		

			
		



	

		

			

				
					
Redis之Codis

				
			

			

				

					cainiao1412的博客
				

				

					01-02
					
					2031
					
				

			

		

		

			
				
场景

在大数据高并发场景下，使用单个redis实例，即使redis的性能再高，也会变的非常吃力，

首先，数据量越大，redis占用内存就越大，进一步导致rdb文件过大，这种情况会使的主从全量同步时间过长，同时实例重启时，加载过大的rdb也会让启动时间变长，

其次在CPU的使用上，单个实例的Redis只能使用一个CPU核心，一个核心应多过多的数据，也会显得力不从心，

因此需要一个集群方案，将巨大的数据量由一台实例分散到多台实例上，从Redis流行到官方支持自己的Cluster方案之间，第三方也在自己开

			
		

	





	

		

			

				
					
Redis集群方案，Codis安装测试

				
			

			

				

					ztsinghua的专栏
				

				

					08-31
					
					729
					
				

			

		

		

			
				
本文原文连接: http://blog.youkuaiyun.com/freewebsys/article/details/44100919 转载请注明出处！

1，关于豌豆荚开源的Codis

Codis是豌豆荚使用Go和C语言开发、以代理的方式实现的一个Redis分布式集群解决方案,且完全兼容Twemproxy。Twemproxy对于上一层的应用来说, 连接Codis Proxy（Redis代理服

			
		

	





	

		

			

				
					
codis/redis 迁移redis cluster工具

				
			

			

				

					08-18
				

			

		

		

			
				
 Codis到Redis Cluster的迁移工具支持将已经在Codis集群中的数据平滑迁移到Redis Cluster，无需停机，保证业务的连续性。同样，它也支持从Redis迁移到Codis，以及在Redis实例之间进行迁移，这些功能使得数据管理更具...

			
		

	





	

		

			

				
					
Codis分布式Redis集群安装与文档使用指南

				
			

			

				

					
				

			

		

		

			
				
Codis是一个支持水平扩展的Redis集群解决方案，它通过提供代理中间件将前端请求路由到后端的Redis实例集群，并提供高可用和分布式存储的能力。安装和使用Codis集群对于提高Redis数据库的性能、可靠性和容量扩展具有...

			
		

	





	

		

			

				
					
redis哨兵+主从+redis集群

				
			

			

				

					qq_17199495的博客
				

				

					03-17
					
					240
					
				

			

		

		

			
				
一、redis哨兵+主从的问题
假设我们在一台主从机器上配置了200G内存，但是业务需求是需要500G的时候，主从结构+哨兵可以实现高可用故障切换+冗余备份，但是并不能解决数据容量的问题，用哨兵，redis每个实例也是全量存储，每个redis存储的内容都是完整的数据，浪费内存且有木桶效应。
为了最大化利用内存，可以采用cluster群集，就是分布式存储。即每台redis存储不同的内容。
Redis...

			
		

	





	

		

			

				
					
细细品味架构·分布式Redis解决方案Codis（第9期）

				
			

			

				

					10-29
				

			

		

		

			
				
1、本期内容
1.1 版权申明
1.2 内容详情
1.2.1 相关概念简介
1.2.2 一致性的重要
1.2.3 Codis 的使用经验 
1.2.4 分布式数据库和架构
1.2.5 现场答疑（Q&A） 
2、知识扩展
2.1 CAP 理论简介 
2.1.1 CAP 的历史
2.1.2 CAP 被上升为定理 
2.1.3 前所未有的质疑
2.1.4 对质疑的回应
2.1.5 该如何看待CAP 
2.1.6 参考资料
2.2 Raft 一致性算法
2.2.1 问题描述
2.2.2 算法描述
2.2.3 基本概念
2.2.4 发展现状
2.2.5 应用场景
2.3 Paxos 的应用场景 
2.3.1 主要内容
2.3.2 参考文献
2.4 Google Spanner 
2.4.1 介绍
2.4.2 实现
2.4.3 TrueTime
2.4.4 并发控制
2.4.5 实验分析
2.4.6 相关工作
2.4.7 未来的工作
2.4.8 总结
2.5 Codis 集群部署实战 
2.5.1 集群概要
2.5.2 系统架构
2.5.3 角色分配
2.5.4 部署安装
2.5.5 服务启动及初始化集群
2.5.6 codis-server 的HA
2.5.7 关于集群监控的思考
2.5.8 使用过程中遇到的问题

			
		

	





	

		

			

				
					
Codis的架构设计

					
热门推荐

				
			

			

				

					Eric的专栏
				

				

					07-19
					
					2万+
					
				

			

		

		

			
				
最近学习了Codis的源码实现，把一些收获整理一下放在这里。

为什么会有Codis？
RedisCluster架构
Codis是怎么做的
Codis架构


首先，为什么会有Codis？
Codis是用来管理Redis集群的，那么Codis就是因为Redis而存在的，但是这并不是终极答案，对吧？为什么会有Redis呢？因为这个人。Redis的作者。
 这是一个大帅哥，一点也不

			
		

	





	

		

			

				
					
Redis集群(Cluster和Codis)

				
			

			

				

					zz18532164242的博客
				

				

					07-16
					
					846
					
				

			

		

		

			
				
reids集群：Cluster和Codis

			
		

	





	

		

			

				
					
Codis：高性能Redis集群解决方案

				
			

			

				

					gitblog_00262的博客
				

				

					10-09
					
					384
					
				

			

		

		

			
				
Codis：高性能Redis集群解决方案

    
        
            codis
            
            
                
                项目地址: https://gitcode.com/gh_mirrors/cod/codis
            
        
    

项目介绍
Codis 是...

			
		

	





	

		

			

				
					
Codis：高性能的Redis集群解决方案

				
			

			

				

					gitblog_00044的博客
				

				

					05-10
					
					835
					
				

			

		

		

			
				
Codis：高性能的Redis集群解决方案

    
        
            codis
            Proxy based Redis cluster solution supporting pipeline and scaling dynamically
            
                项目地址: https://gitcode.com...

			
		

	





	

		

			

				
					
Redis 集群之Redis+Codis方案

				
			

			

				

					后端老鸟
				

				

					06-02
					
					1086
					
				

			

		

		

			
				
【转载请注明出处】：https://www.jianshu.com/p/41f97c494fc4
Redis 集群解决方案有哪些
Redis 的集群解决方案有社区的，也有官方的，社区的解决方案有 Codis 和Twemproxy，Codis是由我国的豌豆荚团队开源的，Twemproxy是Twitter团队的开源的；官方的集群解决方案就是 Redis Cluster，这是由 Redis 官方团队来实现的。下面的列表可以很明显地表达出三者的不同点。





Codis
Twemproxy
Redis Clus

			
		

	





	

		

			

				
					
redis-codis ( redis集群方案之一 )

				
			

			

				

					hsw的博客
				

				

					03-17
					
					902
					
				

			

		

		

			
				
1，为什么会出现codis

单机内存太大则rdb文件就大,主从同步全量的时候耗时太长.
单机内存太大则都使用一个机器的CPU,海量数据的处理肯定不够用
分布式可以利用多个cpu的优势.而且可以存储海量的数据.
在大数据高并发场景下，单个redis实例往往会无法应对
其次在CPU利用率中上，单个redis实例只能利用单核，数据量太大，压力就会特别大

2、什么是codis


codis是redi...

			
		

	





	

		

			

				
					
【入门篇】1.7 Redis 之 codis 入门介绍

				
			

			

				

					日拱一卒无有尽，功不唐捐终入海
				

				

					11-16
					
					1977
					
				

			

		

		

			
				
Codis是由Wandou Labs（豌豆荚团队）开发的开源工具，用于解决在大数据环境下使用Redis所面临的挑战。Codis将多个Redis实例组织起来，形成一个统一的数据访问层，从而提供了高可用和分布式的特性，使得Redis能够更好地处理大数据和高并发的场景。Codis的功能是基于Redis构建的。Redis是一种内存数据库，用于存储键值对数据。然而，当数据量或并发请求数量增长时，单个Redis实例可能会遇到性能瓶颈。Codis通过在多个Redis实例之间进行数据分片，解决了这个问题。

			
		

	





	

		

			

				
					
Redis - 集群 - Codis

				
			

			

				

					哆啦A梦
				

				

					01-02
					
					472
					
				

			

		

		

			
				
1、Codis是一种集群的实现方式，是使用Go语言开发的一个代理中间件，其上斜挂的的所有Redis事例构造一个Redis集群，当空间不足时，可以增加Redis事例，实现动态扩容

2、Codis分片原理：

它负责将特定的key转发到特定的Redis实例上，实现原理，首先将key进行crc32运算计算哈希值，再将hash后的值对1024取模得到余数，这个余数就是对应key的槽位，每个槽位会唯一映射...

			
		

	





	

		

			

				
					
ArrayList在不同JDK版本中的初始容量

					
最新发布

				
			

			

				

					04-03
				

			

		

		

			
				
<think>好的，我需要解决用户关于ArrayList在不同JDK版本中初始容量差异的问题。首先，我需要确认用户的需求，他们想知道不同JDK版本中ArrayList的初始容量是否有变化，以及具体是怎样的变化。

首先，我应该回忆ArrayList的基本结构。ArrayList是基于数组的动态数组，当元素数量超过当前容量时会自动扩容。初始容量指的是创建ArrayList时内部数组的初始大小，如果没有显式指定，JDK会有默认值。

接下来，我需要查阅不同JDK版本的源代码或官方文档来确认初始容量的变化。根据已有的知识，JDK6到JDK8之间的ArrayList默认初始容量可能没有变化，但可能存在一些优化或内部实现的调整。例如，在JDK1.2引入ArrayList时，默认初始容量是10。后续版本可能保持了这个默认值，但在某些情况下，比如使用空构造函数时，可能会延迟分配数组，以节省内存。

然后，我需要考虑用户提供的引用内容。引用[1]提到了JDK1.8中创建只读集合的方式，但没有直接涉及ArrayList的初始容量。引用[2]讨论了Java6.0中的ConcurrentHashMap相关类，与ArrayList无关。引用[3]涉及线程状态，也不相关。因此，可能需要依赖其他来源的信息。

接下来，我需要确认各个版本的默认初始容量。例如，JDK6、7、8的ArrayList构造函数如果没有指定容量，默认是10，但在JDK8中可能存在优化，比如在首次添加元素时才分配数组，以减少内存占用。这可能被称为“延迟初始化”。

然后，我需要整理这些信息，以清晰的结构呈现给用户，包括版本对比、构造函数的行为差异、扩容机制的变化等。同时，需要确保使用正确的中文表达，并遵循用户提供的格式要求，比如行内公式使用$...$，独立公式用$$...$$，但在这个问题中可能不太涉及数学公式，不过需要检查是否有需要的地方。

另外，用户要求生成相关问题，我需要根据回答内容提出相关的问题，例如初始容量设置的最佳实践、扩容机制的影响等。

最后，需要确保回答真实可靠，引用正确的来源，比如官方文档或可信的代码分析。如果可能的话，可以引用JDK的源码片段或官方变更日志来支持结论。</think>### ArrayList初始容量在不同JDK版本中的差异

#### 1. **JDK 1.2-1.7（经典实现）**
- **默认初始容量**：通过空参构造函数`new ArrayList()`创建的实例，**初始容量为10**。
- **实现特点**：
  - 内部数组`elementData`在构造函数调用时直接初始化为长度为10的空数组。
  - 添加第一个元素时无需扩容，但若未指定初始容量，空数组会立即占用内存空间。
- **代码示例（JDK1.7）**：
  ```java
  public ArrayList() {
      this.elementData = new Object[10]; // 直接分配容量
  }
  ```

#### 2. **JDK 1.8及之后（优化实现）**
- **默认初始容量**：空参构造函数创建的实例**初始容量为0**，但首次添加元素时扩容为10。
- **实现特点**：
  - 使用**延迟初始化**策略，内部数组初始指向一个静态空数组`EMPTY_ELEMENTDATA`，减少内存占用。
  - 首次调用`add()`方法时，容量会扩展为默认的10。
- **代码示例（JDK1.8）**：
  ```java
  private static final Object[] DEFAULTCAPACITY_EMPTY_ELEMENTDATA = {};
  public ArrayList() {
      this.elementData = DEFAULTCAPACITY_EMPTY_ELEMENTDATA; // 延迟分配
  }
  ```

#### 3. **扩容机制对比**
- **JDK1.7及之前**：扩容公式为`newCapacity = oldCapacity + (oldCapacity >> 1)`（即1.5倍）。
- **JDK1.8及之后**：扩容逻辑相同，但首次扩容时会根据默认值10或用户指定值进行调整：
  ```java
  int newCapacity = oldCapacity + (oldCapacity >> 1);
  ```

#### 4. **显式指定初始容量**
所有版本均支持通过构造函数`ArrayList(int initialCapacity)`指定初始容量。例如：
```java
ArrayList<String> list = new ArrayList<>(20); // 初始容量为20
```

#### 版本对比总结
| JDK版本   | 空参构造初始容量 | 内存优化策略 |
|-----------|------------------|--------------|
| ≤1.7      | 10               | 无           |
| ≥1.8      | 0（首次扩容为10）| 延迟初始化   |

---

### 相关问题
1. **为什么JDK8要引入ArrayList的延迟初始化？**  
   > 答：减少未实际使用的ArrayList实例的内存占用，适用于大量创建但未填充数据的场景[^4]。

2. **如何避免ArrayList频繁扩容导致的性能问题？**  
   > 答：预估数据量并通过构造函数指定初始容量，例如`new ArrayList<>(1000)`。

3. **ArrayList的扩容机制是否线程安全？**  
   > 答：ArrayList本身非线程安全，扩容时若多线程并发操作可能导致数据不一致，需使用`Collections.synchronizedList`包装或改用`CopyOnWriteArrayList`[^2]。

---

[^1]: JDK1.8通过`Collections.unmodifiableList`实现只读集合的示例代码。  
: Java6引入的并发容器设计（如`ConcurrentHashMap`）扩展了线程安全集合的选择。  
[^4]: 延迟初始化设计参考自JDK8的`ArrayList`源码实现。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值