Redis客户端-Jedis源代码探索

最新推荐文章于 2023-08-26 19:36:08 发布
最新推荐文章于 2023-08-26 19:36:08 发布 · 63 阅读 · 0
文章标签：

#数据库 #java #网络

Redis客户端-Jedis源代码探索

博客分类： 源代码
jedis redis java


Redis的应用已经如火如荼了，你要是搞服务端的，说你还没用过，一些人又要从心里鄙视你n遍了。刚好在项目中实践了，有一点点心得，在这里跟大家交流一下。由于时间的关系，Redis的源码还未读完，今天先把客户端jedis的源码研究一下吧。看完代码后其实你可以自己实现一个了。代码一定要剖析到每一行，吸取精华才算凑效。jedis，在各种客户端中算比较优秀的。代码风格也很好，读来如沐春风，心旷神怡啊:)



1.Redis的通信协议

Redis采用自定义的二进制通信协议。有一个基本规范
发送命令规范:

<参数个数>\r\n
$<参数1字节数>\r\n
<参数1>\r\n
...
$<参数n字节数>\r\n
<参数n>\r\n

响应规范


响应类型有返回数据的第一个字节决定的
+代表一个状态信息，+ok
-代表错误
:返回的是一个整数
$返回一个块数据，跟发送命令的规范一样。$<长度>\r\n<数据>\r\n
*返回多个数据块。同上，后面跟着参数的个数和每个参数的数据。

2.jedis的整体架构

解剖jedis架构之前，先自己尝试设计一个客户端。如果用最简单的方式，你会如何设计？

用最简单的Socket就可以实现了，socket跟服务端通信后，就可以按上面的格式发命令了。然后阻塞获得服务端返回的数

据。听起来很简单吧。


实际上jedis也是这样实现的客户端连接数很大，怎么办？每次新建一个socket，开销会成线性增长。我们想到了连接池方案。先新建一批连接，使用时从连接池取一个，用完再回收。连接池实现起来有多复杂？用 apache 的连接池接口，可以简化开发成本。

一台机容量有限，想将数据存储到多个节点。有很多种方案啦。在业务层面，我们可以将不同的业务数据存储在不同的节点（水平分割）。根据用户容量分割到不同的节点（纵向分割）。有没有通用一点的，我们想到的"一致性hash”方案。根据key，定位到目标节点，存储相关的数据。

吹了那么多，其实上面就是jedis的核心了。其他的只是处理各种的命令返回值而已了


3.源代码剖析

连接redis，非常简单，跟传统的socket通信一样。new一个socket，设置相关的参数，connect获取相关的输入输出流进行通信。它的特别之处在于，封装了这些流，方便操作

Java代码 复制代码 收藏代码
  1. publicvoidconnect(){
  2. if(!isConnected()){
  3. try{
  4. socket=newSocket();
  5. //->@wjw_add
  6. socket.setReuseAddress(true);
  7. socket.setKeepAlive(true);//WillmonitortheTCPconnectionisvalid
  8. socket.setTcpNoDelay(true);//SocketbufferWhetherclosed,toensuretimelydeliveryofdata
  9. socket.setSoLinger(true,0);//Controlcallsclose()method,theunderlyingsocketisclosedimmediately
  10. //<-@wjw_add
  12. socket.connect(newInetSocketAddress(host,port),timeout);
  13. socket.setSoTimeout(timeout);
  14. outputStream=newRedisOutputStream(socket.getOutputStream());
  15. inputStream=newRedisInputStream(socket.getInputStream());
  16. }catch(IOExceptionex){
  17. thrownewJedisConnectionException(ex);
  18. }
  19. }
  20. }
public void connect() {
        if (!isConnected()) {
            try {
                socket = new Socket();
                //->@wjw_add
                socket.setReuseAddress(true);
                socket.setKeepAlive(true);  //Will monitor the TCP connection is valid
                socket.setTcpNoDelay(true);  //Socket buffer Whetherclosed, to ensure timely delivery of data
                socket.setSoLinger(true,0);  //Control calls close () method, the underlying socket is closed immediately
                //<-@wjw_add

                socket.connect(new InetSocketAddress(host, port), timeout);
                socket.setSoTimeout(timeout);
                outputStream = new RedisOutputStream(socket.getOutputStream());
                inputStream = new RedisInputStream(socket.getInputStream());
            } catch (IOException ex) {
                throw new JedisConnectionException(ex);
            }
        }
    }


发送命令，就是按照上面的所说的通信协议发送相关的命令

要注意的是要将字符串转成二进制流

Java代码 复制代码 收藏代码
  1. privatestaticvoidsendCommand(finalRedisOutputStreamos,
  2. finalbyte[]command,finalbyte[]...args){
  3. try{
  4. os.write(ASTERISK_BYTE);
  5. os.writeIntCrLf(args.length+1);
  6. os.write(DOLLAR_BYTE);
  7. os.writeIntCrLf(command.length);
  8. os.write(command);
  9. os.writeCrLf();
  11. for(finalbyte[]arg:args){
  12. os.write(DOLLAR_BYTE);
  13. os.writeIntCrLf(arg.length);
  14. os.write(arg);
  15. os.writeCrLf();
  16. }
  17. }catch(IOExceptione){
  18. thrownewJedisConnectionException(e);
  19. }
  20. }
 private static void sendCommand(final RedisOutputStream os,
			    final byte[] command, final byte[]... args) {
			try {
			    os.write(ASTERISK_BYTE);
			    os.writeIntCrLf(args.length + 1);
			    os.write(DOLLAR_BYTE);
			    os.writeIntCrLf(command.length);
			    os.write(command);
			    os.writeCrLf();

			    for (final byte[] arg : args) {
				os.write(DOLLAR_BYTE);
				os.writeIntCrLf(arg.length);
				os.write(arg);
				os.writeCrLf();
			    }
			} catch (IOException e) {
			    throw new JedisConnectionException(e);
			}
		    }



处理服务端返回。Redis本身是单线程阻塞的。所以你可以从socket的InputStream中直接读取数据。
获得二进制流，根据不同的命令，将它转成相应的数据类型即可

Java代码 复制代码 收藏代码
  1. privatestaticObjectprocess(finalRedisInputStreamis){
  2. try{
  3. byteb=is.readByte();
  4. if(b==MINUS_BYTE){
  5. processError(is);//报错
  6. }elseif(b==ASTERISK_BYTE){
  7. returnprocessMultiBulkReply(is);//*多个数据块
  8. }elseif(b==COLON_BYTE){
  9. returnprocessInteger(is);//:整数
  10. }elseif(b==DOLLAR_BYTE){
  11. returnprocessBulkReply(is);//$一个数据块
  12. }elseif(b==PLUS_BYTE){
  13. returnprocessStatusCodeReply(is);//+状态
  14. }else{
  15. thrownewJedisConnectionException("Unknownreply:"+(char)b);
  16. }
  17. }catch(IOExceptione){
  18. thrownewJedisConnectionException(e);
  19. }
  20. returnnull;
  21. }
  private static Object process(final RedisInputStream is) {
	    	try {
	    	    byte b = is.readByte();
	    	    if (b == MINUS_BYTE) {
	    		processError(is);//报错
	    	    } else if (b == ASTERISK_BYTE) {
	    		return processMultiBulkReply(is);//*多个数据块
	    	    } else if (b == COLON_BYTE) {
	    		return processInteger(is);//:整数
	    	    } else if (b == DOLLAR_BYTE) {
	    		return processBulkReply(is);//$一个数据块
	    	    } else if (b == PLUS_BYTE) {
	    		return processStatusCodeReply(is);//+状态
	    	    } else {
	    		throw new JedisConnectionException("Unknown reply: " + (char) b);
	    	    }
	    	} catch (IOException e) {
	    	    throw new JedisConnectionException(e);
	    	}
	    	return null;
	        }



连接池的实现。现在要实现连接池，一般都是用apache的pool接口来实现了。只需要两个步骤。
1.实现Config 就是连接池的配置参数，包括最大连接数，初始连接数，空闲时间.
2.实现 BasePoolableObjectFactory，提供新建连接，废弃连接，测试连接方法

Java代码 复制代码 收藏代码
  1. publicObjectmakeObject()throwsException{//产生redis实例
  2. finalJedisjedis=newJedis(this.host,this.port,this.timeout);
  4. jedis.connect();
  5. if(null!=this.password){
  6. jedis.auth(this.password);
  7. }
  8. if(database!=0){
  9. jedis.select(database);
  10. }
  12. returnjedis;
  13. }
  15. publicvoiddestroyObject(finalObjectobj)throwsException{//销毁jedis实例
  16. if(objinstanceofJedis){
  17. finalJedisjedis=(Jedis)obj;
  18. if(jedis.isConnected()){
  19. try{
  20. try{
  21. jedis.quit();
  22. }catch(Exceptione){
  23. }
  24. jedis.disconnect();
  25. }catch(Exceptione){
  27. }
  28. }
  29. }
  30. }
  32. publicbooleanvalidateObject(finalObjectobj){//验证jedis是否有效，简单的ping命令
  33. if(objinstanceofJedis){
  34. finalJedisjedis=(Jedis)obj;
  35. try{
  36. returnjedis.isConnected()&&jedis.ping().equals("PONG");
  37. }catch(finalExceptione){
  38. returnfalse;
  39. }
  40. }else{
  41. returnfalse;
  42. }
  43. }
	  public Object makeObject() throws Exception {//产生redis实例
            final Jedis jedis = new Jedis(this.host, this.port, this.timeout);

            jedis.connect();
            if (null != this.password) {
                jedis.auth(this.password);
            }
            if( database != 0 ) {
                jedis.select(database);
            }
            
            return jedis;
        }

        public void destroyObject(final Object obj) throws Exception {//销毁jedis实例
            if (obj instanceof Jedis) {
                final Jedis jedis = (Jedis) obj;
                if (jedis.isConnected()) {
                    try {
                        try {
                            jedis.quit();
                        } catch (Exception e) {
                        }
                        jedis.disconnect();
                    } catch (Exception e) {

                    }
                }
            }
        }

        public boolean validateObject(final Object obj) {//验证jedis是否有效，简单的ping命令
            if (obj instanceof Jedis) {
                final Jedis jedis = (Jedis) obj;
                try {
                    return jedis.isConnected() && jedis.ping().equals("PONG");
                } catch (final Exception e) {
                    return false;
                }
            } else {
                return false;
            }
        }



一致性hash的实现。关键是如何使得key均匀散列。jedis使用了murmurhash 2.0

Java代码 复制代码 收藏代码
  1. publicRgetShard(Stringkey){
  2. returnresources.get(getShardInfo(key));
  3. }
  5. publicSgetShardInfo(byte[]key){
  6. SortedMap<Long,S>tail=nodes.tailMap(algo.hash(key));//找到key所在的节点
  7. if(tail.size()==0){
  8. returnnodes.get(nodes.firstKey());
  9. }
  10. returntail.get(tail.firstKey());
  11. }
 public R getShard(String key) {
	        return resources.get(getShardInfo(key));
	    }

	    public S getShardInfo(byte[] key) {
	        SortedMap<Long, S> tail = nodes.tailMap(algo.hash(key));//找到key所在的节点
	        if (tail.size() == 0) {
	            return nodes.get(nodes.firstKey());
	        }
	        return tail.get(tail.firstKey());
	    }


4.经验教训


这里谈谈实践中遇到的几个问题，都是血和泪的教训啊。


1.jedis的连接池获得的连接，进行通信时候出错了，一定要记得销毁该连接。因为它的inputstream里面可能还残留数据。下次从连接池获得的时候都是dirty data了。一般采用以下的方案：

Java代码 复制代码 收藏代码
  1. try{
  2. //dosomething
  3. pool.returnConnection;//返回正常连接
  4. catch(Exceptione){
  5. pool.returnBrokenConnection;//销毁连接 
  
        try{
	    	//do something
	    	pool.returnConnection;//返回正常连接
	    }catch(Exception e){
	    	pool.returnBrokenConnection;//销毁连接
	    }


2.使用一致性hash的时候，使用批量查询命令mget的时候，ShardedJedis本身不支持的，只能用一个个key去取数据，性能低下。有一个比较土的办法。先将key对应的节点分类合并，然后单独用mget去获取数据，再将返回值合并给用户。可以显著减少网络连接。


5.总结


jedis简单，高效，本身代码也可以当做一个网络客户端的典型实现范例。

iteye_18451
关注
Redis源码学习(一)-手写Jedis客户端
helloarst的博客
09-09 564
最近在学习Redis的源码，Redis源码相对来说比较简单，后续将奉上源码的分析过程。这里，先分享一个手写的Jedis客户端代码，实现方法较为简单，很容易看明白。 此外，RESP（REdis Serialization Protocol）是Redis客户端和服务端通信的一个协议，此代码也是基于RESP协议进行的，因此在学习这段代码之前最好先去看一下RESP的相关内容。   献上代码: p...
jedis-2.9.0 最新版Redis客户端优快云下载
01-08
Jedis是Java语言中使用最广泛的Redis客户端库，它提供了丰富的API来操作Redis服务器。在这个"jedis-2.9.0"的最新版本中，我们包含了三个重要的文件： 1. `jedis-2.9.0.jar`：这是Jedis的二进制发行版，包含了所有...
jedis 客户端详解和源码分析
qq_40764952的博客
03-06 172
一,客户端,快速入门 1.pom依赖 2.jedis 连接 二,API 介绍 具体看代码 jedis .set(“key”,“value”), jedis .append(“key”,“111”), 字符串拼接 jedis mset (‘key1,‘value1’,’key2,‘value2’)支持批量操作 jedis mget (‘key1,’key2’)支持批量操作 三 .源码分析 ...
Jedis客户端的简单代码实现
平顶山吴彦祖河南省张信哲
04-27 255
Jedis客户端的简单代码实现
Redis的Java客户端Jedis——多线程模式下的实现及源码分析
qq_39486960的博客
04-23 279
突然心血来潮，打算整理一下，项目中用到的Redis，发现Java客户端用的是Jedis。然后整理了一下项目中基于多线程的业务实现和源码分析。有兴趣的朋友可以看下。
redis桌面客户端redis-desktop-client-master.zip
最新发布
05-01
在本压缩包"redis-desktop-client-master.zip"中，包含的是Redis Desktop Client的源代码或构建版本。 Redis Desktop Client提供了图形用户界面（GUI），使得开发者可以更直观、便捷地进行键值操作，查看数据，执行...
Redis客户端库Jedis 7.0.2版发布
压缩包文件名称列表中的“jedis-master”表明该压缩包包含了Jedis库的源代码或发布版本，通常“master”会指向当前主分支的最新版本，意味着这是该库的稳定版本或正在开发中的活跃分支。 关于知识点，我们需要更...
Redis Jedis客户端库jedis-3.1.0版本发布
- “jedis-3.1.0-sources.jar”包含了该版本Jedis的源代码，这允许开发者查看和研究Jedis的实现细节，或者在需要时进行源代码级别的修改和调试。 - “commons-pool2-2.4.3.jar”是Apache Commons Pool 2的库文件，它...
各种版本的redis+Jedis驱动包
08-24
4. **Jedis**：Jedis是Java语言的Redis客户端库，它提供了丰富的API，使Java开发者能够方便地与Redis进行交互。Jedis支持各种Redis命令，包括数据类型操作、事务处理、发布/订阅、持久化等。在实际项目中，通过Jedis...
Redis java客户端 jedis 源码分析系列一：概述
weixin_34217711的博客
01-29 112
Jedis 是 Redis java语言的客户端，使用普遍，现就其原理及源码与大家进行交流，欢迎指正和讨论，同时也欢迎转载，谢谢大家。Jedis对外提供的操作对象有如下四种基础对象（暂未加入pipeline）：Jedis，最基础的Redis操作对象，也是单Redis实例最常用的客户端操作对象JedisPool，Jedis池化对象，通过common-pools实现的对象池，对J...
使用java实现redis客户端（简单的jedis）
weixin_43919032的博客
12-06 1315
redis服务器默认使用端口6379与外界进行通信，我们其实可以自己实现一个简单的redis客户端。这里用java来实现一下。 实现一个redis客户端主要实现两个部分就可以 socket通信 redis通信协议（resp协议）的编码与解码 主要是第二部分resp的实现。这里先简单介绍一下resp。 RESP 协议简介 Redis 的客户端和服务端之间在 TCP 协议的上层采用一种独立名为 RESP(REdis Serialization Protocol) 协议作为进行通讯的标准方式。 **Redis
Jedis客户端的使用
晓太白的博客
11-29 3108
一、前期准备1、首先在Linux服务器上安装了Redis的server端，安装详情，请看我这篇博客http://blog.csdn.net/qq_31634461/article/details/78650407，在本篇博客中我们将在使用jedis作为Client端远程连接并操作Redis。 2.去下载Jedis-2.7.2.jar开发包，推荐最新版本的 3.导入开发包到工程二、单机版redis
redis架构
zhaozhenzuo的专栏
06-29 5707
一.redis竞品对比 存储 数据结构 持久化 集群可用性 网络模型 线程模型 redis 支持value是string,list,hash,set,zset 是 主从，redis cluster无中心分布式集群 非阻塞IO 单线程 无锁 memcache 只支持string 否 需要自行开发 基于twemproxy做 主从集群 非阻
一文彻底理解Redis序列化协议，你也可以编写Redis客户端
Throwable
11-30 3739
前提 最近学习Netty的时候想做一个基于Redis服务协议的编码解码模块，过程中顺便阅读了Redis服务序列化协议RESP，结合自己的理解对文档进行了翻译并且简单实现了RESP基于Java语言的解析。编写本文的使用使用的JDK版本为[8+]。 RESP简介 Redis客户端与Redis服务端基于一个称作RESP的协议进行通信，RESP全称为Redis Serialization Protocol...
【2023】Redis服务器与客户端操作
皮皮的博客
06-21 2806
Redis命令的大致运行流程是，由客户端向服务器发起命令，在服务器运行该命令，得到结果后再把结果返回给客户端。在实际项目的场景里，一方面可能会通过各种命令观察服务器的配置和运行状态，以此排查和分析实际的问题，另一方面还有可能通过修改各种配置来实现调优的效果。此外，客户端和服务器的对应关系更有可能是一对多的，即多个客户端同时连到一台服务器上。在本文里，将围绕上述实践要点给出Redis服务器和客户端的常用命令以及实践技能。
Redis客户端(超级详细)
m0_59166421的博客
08-26 1万+
RedisTemplate的两种序列化实践方案，两种方案各有各的优缺点，可以根据实际情况选择使用stringredistemplate 可以在操作大量的数据的时候推荐使用reidstemplate操作数据量不是很多使用提高我们的开发速度。
asterisk常用命令
小白的成长笔记
10-09 1万+
转自 http://blog.sina.com.cn/s/blog_5e42f31a0100yekd.html 使用篇       经过前面的步骤，代码已经编译完了，可执行文件安装完毕同时默认的配置文件也安装了，那么我们就从使用上首先简单的做个介绍，给大家带来一个直观的认识。下文所举例子都会以sip为例，其他h323，iax，mgcp等等类似，不再赘述。       使用之前
jedis选择redis的某个数据库
热门推荐
工匠解码
09-28 1万+
在redis.conf配置中有如下一项配置：# Set the number of databases. The default database is DB 0, you can select # a different one on a per-connection basis using SELECT <dbid> where # dbid is a number between 0 and
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值