
Cache/Memcache/Redis
文章平均质量分 93
应用缓存
boonya
资深Java,热衷大数据,Python爬虫,持续探索副业中,有需要的可以加我微信联系:boonya221
展开
-
Redis利用管道技术+事务实现数据高效批量处理
目录Redis 管道技术Redis管道实例管道技术的优势Redis事务事务操作实例Redis 事务命令Java实现管道+事务提交批量处理RedisCallback管道调用APIRedis是一种基于客户端-服务端模型以及请求/响应协议的TCP服务。这意味着通常情况下一个请求会遵循以下步骤:客户端向服务端发送一个查询请求,并监听Socket返回,通常是以阻塞模式,等待服务端响应。 服务端处理命令,并将结果返回给客户端。Redis 管道技术Redis 管道技..原创 2020-09-16 18:25:22 · 785 阅读 · 0 评论 -
MQ数据同步Redis与DB实时数据一致性问题研究
实时性的数据,一般业务管理数据都是基本上不发生变化的,而发生随时不停发生变化的数据我们将之称之为实时性高的数据叫实时数据。实时数据很难保证在不同数据源下的一致性,除非查看的是某一时刻的数据快照(历史快照),否则很难保持不同数据源数据之间没有差异。所以,从实践中得出的结论是:异构多数据源保证实时数据一致性是一个伪命题,缓存的使用具有不可逆的特性,大多数情况下缓存不能当作真实数据源。预设场景欲实现移动App人员位置管理,要求:1、展示用户总数和在线数量,数据交互到REDIS。2、通过用户在线情况原创 2020-09-11 23:12:04 · 2705 阅读 · 0 评论 -
SpringBoot使用Redis 数据访问(单点、集群、哨兵、连接池、Pipline、分布式框架Redisson、解决方案)
Redis操作是单线程的,使用连接池可以减少连接的创建,redis连接池有两种方式:Jedis(JedisPool) 和 Lettuce(LettucePool)。Lettuce 和 Jedis 的定位都是Redis的client,所以他们当然可以直接连接redis server。在Lettuce和Jedis之外还有Redission ,Redisson:实现了分布式和可扩展的Java数据结构。...原创 2020-04-29 19:54:41 · 2515 阅读 · 0 评论 -
Redis中bitmap用于用户在线状态的数量统计
目录Java测试命令行数据测试文章思想参考:第十章:Redis中bitmap的妙用Java测试Redis工具就不提供了,Jedis里面有提供,自己封装即可。package test;import java.util.List;import java.util.Set;import com.forestar.job.bean.ZQDimension;impor...原创 2020-04-08 19:13:51 · 1456 阅读 · 0 评论 -
Redis命令参考分类包括:事务、持久化、复制、Sentinel、集群
本文档是 Redis Command Reference 和 Redis Documentation 的中文翻译版: 所有 Redis 命令文档均已翻译完毕, Redis 最重要的一部分主题(topic)文档, 比如事务、持久化、复制、Sentinel、集群等文章也已翻译完毕。文档目前描述的内容以 Redis 2.8 版本为准, 查看更新日志(change log)可以了解本文档对 Redis...转载 2020-03-07 18:12:53 · 233 阅读 · 1 评论 -
Redis Geohash指令与位置服务应用
目录0.Redis 命令增加距离获取元素位置获取元素的 hash 值附近的公司1.为什么要GeoHash?2 Redis GEO API2.1 增加地理位置信息2.2 获取地理位置信息2.3 获取两个地理位置的距离2.4 获取指定位置范围的地理信息位置集合2.5 获取指定元素范围的地理信息位置集合3 Redis GEO实现附近XXX功能...原创 2020-01-30 17:39:43 · 2340 阅读 · 3 评论 -
Redis解决老项目集群Session共享案例与回顾
老项目突然之间客户要用了而且用户量还不少,后端移动端都需要给升级。第一改进的时候做了移动端与后端的服务分流,这次升级为分布式集群模式。分布式集群模式需要解决Session共享问题和数据一致性分布式锁处理。因为历史原因,应用是单体应用并非微服务技术实现。为应对移动端大概20000左右的用户使用量做的如下改造。目录服务器端口分配管理分布式集群session共享管理Tomcat sess...原创 2019-12-27 10:10:33 · 996 阅读 · 0 评论 -
JVM排查Tomcat 假死问题——Redis 连接池问题
这两天系统升级后Redis启动移动端运行2小时左右就假死掉了,服务没有任何错误。此时我们需要借助jstack 输出快照帮我们来排除问题。最后发现连接池没有可配置化,都是静态初始化而且初始化连接数量才500左右,并且新增的Jedis调用工具没有关闭连接这是致命的错误资源耗尽就阻塞等待了。目录定位问题问题排查和解决其他问题定位问题输出文件命令:jstack -l pid ...原创 2019-12-24 19:11:50 · 1600 阅读 · 0 评论 -
Redis geojson实现地图聚合效果
目录地图聚合APIJava Redis示例地图聚合APIhttps://openlayers.org/en/latest/examples/cluster.html通过地图平移缩放事件控制地图四至范围内地图刷新和加载详细点控制。最终实现效果如下:Java Redis示例添加geojson数据:/** * 更新GEOHASH值 * @param...原创 2019-12-24 11:09:32 · 1380 阅读 · 0 评论 -
Redis常见问题和知识点汇总
Redis 相关的问题有很多需要注意,本文就大多数问题做了解答。目录1.什么是redis?2.Reids的特点 3.使用redis有哪些好处? 4.redis相比memcached有哪些优势? 5.Memcache与Redis的区别都有哪些?6.redis适用于的场景?7、redis的缓存失效策略和主键失效机制8.为什么redis需要把所有数据放到内存...转载 2019-12-13 11:22:03 · 468 阅读 · 0 评论 -
Redis三种集群策略模式简介之集群模式搭建
主从复制主数据库可以进行读写操作,当读写操作导致数据变化时会自动将数据同步给从数据库 slave从数据库一般都是只读的,并且接收主数据库同步过来的数据 一个master可以拥有多个slave,但是一个slave只能对应一个master哨兵模式监控主从数据库是否正常运行 master出现故障时,自动将slave转化为master 多哨兵配置的时候,哨兵之间也会自动监控 多个哨兵可...转载 2019-12-13 11:13:50 · 437 阅读 · 0 评论 -
Redis安全配置漏洞防范:设置访问密码尽量不通过远程地址访问
原文地址: https://ruby-china.org/topics/28094Redis为了访问效率建议内网部署访问 Redis远程时需设置安全密码访问 Redis远程时必须考虑网络延迟导致连接失败,需要调大设置超时时间一、前言前段时间,在做内网影响程度评估的时候写了扫描利用小脚本, 扫描后统计发现,内网中60%开放了redis6379端口的主机处于可以被利用的危险状态,因为都...转载 2019-07-09 13:51:48 · 1362 阅读 · 2 评论 -
Redis设计与实现学习地址(深入系统化讲解)
网文版本:https://redisbook.readthedocs.io/en/latest/index.html最新版本:http://redisbook.com/本书的目标是以简明易懂的方式讲解 Redis 的内部运行机制, 通过阅读本书, 你可以了解到 Redis 从数据结构到服务器构造在内的几乎所有知识。为了保证内容的简洁性, 本书会尽量以高抽象层次的角度来观察 Redi...转载 2019-06-05 09:14:52 · 331 阅读 · 0 评论 -
SpringBoot 实现WebSocket页面消息推送及Redis 发布订阅和队列功能
项目简介:采用SpringBoot开发项目实现大屏数据展示功能,轻量级处理额外需求业务。基于Redis服务发布订阅功能,实现系统有新数据的时候主动推送数据到大屏的WebSocket监听页面进行展示。队列的消费需要提供接口这个方式不够友好,发布订阅只需要在另一个服务器上同样部署一个springboot开发的应用并订阅相同的主题即可(队列功能适合同一应用环境下,引用项目打包后的jar包进行开发即可)。...原创 2019-05-30 15:38:48 · 9957 阅读 · 1 评论 -
Docker快速实现Redis环境安装
为了让redis版本在Windows上兼容,redis采用3.2.1. (Linux最新版本为5.0.4 window版本为3.2.100版本差异较大,5.0.4的主从复制方式与3.1.100主从复制方式不一样)。目录创建Docker网络docker network命令创建redis网络创建Redis实例运行实例查看实例Redis命令行操作参考资料创建Doc...原创 2019-05-10 15:10:07 · 528 阅读 · 0 评论 -
Redis连接池及单节点工具与多Redis节点管理工具
Redis提供Java的操作工具Jedis稍稍实现封装就可以直接拿来使用了,单节点和多节点这个封装就太简单了。Redis默认数据库实例个数0-15即16个实例。正常情况下,我们通过get或者set方法是从db0中取数据。redis提供了 select命令,可以通过select index 这个指令,将数据库切换到index所在的那个数据库上 jedis客户端也提供了对应的方法,可以通过jed...原创 2019-05-10 09:43:23 · 1424 阅读 · 0 评论 -
Redis key模糊查询聚合实现多维度查询数据可视化
一个分布式多租户多维度需要统计聚合数据的可视化,通过关系型数据库查询效率实在太低尤其是年、季度、月统计数据,采用redis的key模糊查询可以实现对一类数据的多维度筛选和统计。可以做到年、季度、月、日、租户编码、业务类型、业务ID、业务状态、操作人等等维度的聚合查询。目录Key模糊聚合查询测试代码和初始化改造政区初始化及统计流程设计本文基于:Redis连接池及单节点工具与多Re...原创 2019-05-19 16:50:25 · 7897 阅读 · 0 评论 -
Redis主从同步配置(以从节点的Redis版本为主支持Windows和linux)
注意:Windows3.2.100版本和Linux5.0.4版本同步机制不一样无法做同步。Windows的版本明显跟不上Linux版本更新的速度,如果从库是Windows版本,Linux需要对应使用相近的版本。目录Redis需求说明需求现状目标Redis主从安装配置Redis环境说明Redis主从同步原理Redis查询命令说明Redis安装包下载Redi...原创 2019-05-09 16:27:15 · 1474 阅读 · 1 评论 -
Redis以及Jedis的GEO地图功能
原文地址:https://blog.youkuaiyun.com/xiangnan10/article/details/80225929引言:redis是一个高性能的非关系型数据库,作为一个单线程的应用程序,速度非常快。并且不存在多线程情况下的共同资源访问锁的问题。Redis介绍Redis 是完全开源免费的,遵守BSD协议,是一个高性能的key-value数据库。在Java开发中,Redis是...转载 2019-04-08 20:07:20 · 1148 阅读 · 0 评论 -
Ubuntu server 15.0.4安装Redis cluster
1.安装redis 目前redis 3.0以上版本都支持集群(cluster)了,安装包可以到官网上去下载:http://redis.io/download。在安装集群之前,必先安装redis(本文以redis-3.0.3为例),安装过程可以参考我的另一篇文章:Ubuntu server 15.0.4安装Redis2.安装redis nodes实现目标:新建6个ins原创 2015-10-26 11:11:26 · 2715 阅读 · 0 评论 -
Redis 单点模式和集群模式代码测试及问题记录
前言:Redis的测试有一些讲究,如果你是先安装集群再来测试会出现很多意想不到的问题。单个redis-server测试很简单 就是照着API搞就行,但是如果是先搭建集群环境而使用集群节点(单个IP和端口)来操作就不适用了。集群的特点就是分担服务端的压力,此时采用Redis一般的操作API就不适用了,因为集群节点会发生转移(MOVED)到另一个节点上去,所以API操作要对应模式——集群应当使用与cl原创 2015-10-28 11:36:05 · 12323 阅读 · 1 评论 -
Linux CentOS 6.5nginx +tomcat +redis分布式web应用的session共享配置
原文地址:http://www.cnblogs.com/lengfo/p/4260363.html一、前言 nginx 作为目前最流行的开源反向代理HTTP Server,用于实现资源缓存、web server负载均衡等功能,由于其轻量级、高性能、高可靠等特点在互联网项目中有着非常普遍的应用,相关概念网上有丰富的介绍。分布式web server集群部署后需要实现session转载 2015-10-28 18:10:03 · 1909 阅读 · 0 评论 -
Ubuntu server 15.0.4 Redis相关笔记及配置参数说明
操作命令及资料# Redis集群教程http://www.redis.cn/topics/cluster-tutorial.htmlhttp://redis.io/topics/cluster-tutorial# Redis客户端下载http://www.redis.cn/clients.html# Redis在线教程http://www.yiibai.com/redis/原创 2015-10-27 18:10:45 · 1024 阅读 · 0 评论 -
Unbuntu server15.04 Nginx1.8 + tomcat7集群+redis3 Session共享管理配置
前言:由于笔记本内存不足和Ubuntu操作不熟等原因,搞了两天终于搞定了Unbuntu server15.04 Nginx1.8 + tomcat7+redis-3.05Session共享管理配置,这里先记录配置过程及遇到的问题,以此做一个总结和参考。 环境:JDK使用1.7.51,Tomcat7.63,Linx(Ubuntu server15.04),redis-3.0.5.原创 2015-11-03 17:06:43 · 4288 阅读 · 0 评论 -
Redis+Spring缓存实例(windows环境,附实例源码及详解)
原文出处: 小宝鸽一、Redis了解1.1、Redis介绍:redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set –有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作转载 2016-04-20 13:57:24 · 749 阅读 · 0 评论 -
Redis cluster 集群 安装 配置 详解
Redis 集群是一个提供在多个Redis间节点间共享数据的程序集.redis3.0以前,只支持主从同步的,如果主的挂了,写入就成问题了。3.0出来后就可以很好帮我们解决这个问题。目前redis 3.0还不稳定,如果要用在生产环境中,要慎重。一.redis服务器说明 192.168.10.219 6379 192.168.10.219 6380 192转载 2016-06-30 11:56:45 · 825 阅读 · 0 评论 -
Memcached实现简单业务处理
--------memcache 基本业务代码解读1、创建Memcache客户端连接MemCacheConnectionpackage com.boonya.mecache.store;import com.danga.MemCached.MemCachedClient;import com.danga.MemCached.SockIOPool;public class M原创 2013-05-09 22:19:03 · 1389 阅读 · 0 评论 -
Memcached提升web数据操作读写性能
1、下载安装 1. 从http://jehiah.cz/projects/memcached-win32/ 上下载memcache的windows稳定版,解压放某个盘下面,比如在F:\memcached2. 在终端(也即cmd命令界面)下输入 'F:\memcached\memcached.exe -d install' 安装 3. 再输入: 'F:\memcached\memca原创 2013-03-12 00:47:44 · 2491 阅读 · 0 评论 -
阿里Redis Java客户端Tedis
Github地址:https://github.com/justified/tedisTedisTedis是另一个redis的java客户端Tedis的目标是打造一个可在生产环境直接使用的高可用Redis解决方案。参见更多资料Feature 高可用,Tedis使用多写随机读做HA确保redis的高可用 高性能,使用特殊的线程模型,使redis的性原创 2017-02-14 12:55:13 · 4080 阅读 · 0 评论 -
Linux Ubuntu 启动、连接redis测试
环境说明 Linux OS:Ubuntu server 15.04;Redis:redis-3.0.3.tar.gz(注意:好像redis-3.2.8不提供redis-cli客户端命令操作,当然也有可能是我在同一个窗口操作造成的暂未去再次验证);Java :jdk1.8.x;Redis启动后请开启不同Xshell进行操作,请保持Redis窗口活跃性,不要手动退出,以确保redis正常工作,监控其是否运行正常。你如果在启动页面按ctrl+z退出,那么redis会受影响。为安全起见,请设置redis访问的密码原创 2017-03-18 16:23:16 · 5371 阅读 · 0 评论 -
Redis (error) MISCONF Redis is configured to save RDB snapshots, but is currently not able to persis
异常:(error) MISCONF Redis is configured to save RDB snapshots, but is currently not able to persist on disk. Commands that may modify the data set are disabled. Please check Redis logs for details abou原创 2017-03-18 17:21:08 · 786 阅读 · 0 评论 -
Redis通过配置修改密码
Redis 设置了密码之后的访问是比较安全的,裸奔还是至少要穿点遮住隐私。修改redis.conf文件配置 使用vi命令编辑redis.conf :找到# requirepass foobared 然后去掉注释,这个foobared改为自己的密码。然后使用:wq保存。重启redis,这个时候尝试登录redis,发现可以登上,但是执行具体命令是提示操作不允许:redis-原创 2017-03-20 10:39:26 · 3154 阅读 · 0 评论 -
Redis中文学习文档redis.cn
文档注意: Redis的文档在 redis-doc github repository同样也有提供。Redis 使用Redis命令 redis完整的命令列表,以及他们的说明文档。管道(Pipelining):学习如何一次发送多个命令,节省往返时间。Redis 发布/订阅(Pub/Sub):redis是一个快速、稳定的发布/订阅的信息系统。Redis Lua 脚本:Redis 2.6原创 2017-03-20 15:45:16 · 1531 阅读 · 0 评论 -
Redis整合及使用参考文档
From:https://github.com/redisson/redisson/wiki/%E7%9B%AE%E5%BD%95. 概述2. 配置方法2.1. 程序化配置2.2. 文件方式配置2.2.1 通过JSON或YAML格式配置2.2.2 通过Spring XML命名空间配置2.3. 常用设置2.4. 集群模式2.4.1. 集群设置2.4.2.原创 2017-03-20 15:51:33 · 940 阅读 · 0 评论 -
Jedis相关操作总结
文章虽已久,况味尝自知。原文来自:http://www.cnblogs.com/olinux/p/5179174.htmlJedis 是 Redis 官方首选的 Java 客户端开发包。OSchina Jedis API:http://tool.oschina.net/apidocs/apidoc?api=jedis-2.1.0Github:https://github.com/x转载 2017-03-07 18:51:10 · 815 阅读 · 0 评论 -
Ubuntu server 15.0.4安装Redis
这里整理一下我在Ubuntu server 15.0.4安装Redis 遇到的一些问题和处理方法,以便后续使用做参考。1、下载Ubuntu server 15.0.4http://www.ubuntu.com/download/2、安装虚拟机和Ubuntu系统(1)、虚拟机安装:没有可赘言的;(2)、Ubuntu安装:只需要记住,安装过程中设置的账号和密码,其他的一步一步安装即原创 2015-08-20 16:04:00 · 1420 阅读 · 0 评论