锁
有限资源的情况下,控制同一时间(段)只有某些线程(用户 / 服务器)能访问到资源。
Java 实现锁:synchronized 关键字、并发包的类
问题:只对单个 JVM 有效
分布式锁
为啥需要分布式锁?
- 有限资源的情况下,控制同一时间(段)只有某些线程(用户 / 服务器)能访问到资源。
- 单个锁只对单个 JVM 有效
分布式锁实现的关键
抢锁机制,保证同一时间只有 1 个服务器能抢到锁:
核心思想 就是:先来的人先把数据改成自己的标识(服务器 ip),后来的人发现标识已存在,就抢锁失败,继续等待。等先来的人执行方法结束,把标识清空,其他的人继续抢锁。
- MySQL 数据库:select for update 行级锁(最简单)
- 乐观锁
- Redis 实现:内存数据库,读写速度快 。支持 setnx、lua 脚本,比较方便我们实现分布式锁。
(setnx:set if not exists 如果不存在,则设置;只有设置成功才会返回 true,否则返回 false;所以 setnx 就可以保证同一时间只有一个服务可以往数据库里面写入数据) - Zookeeper 实现
注意事项:
- 用完锁要释放(腾地方)
- 锁一定要加过期时间
- 如果方法执行时间过长,锁提前过期了?会导致:
a. 其他服务也去执行,而当前服务执行完之后释放锁,其实是释放掉别人的锁,导致连锁效应
b. 这样还是会存在多个方法同时执行的情况
解决以上问题的方法:续期。
续期的思路
boolean end = false;
//线程
new Thread(() -> {
//判断状态
if (!end)}{
续期
}
})
end = true;
- 释放锁的时候,有可能先判断出是自己的锁,但这时锁过期了,最后还是释放了别人的锁
// 原子操作
if(get lock == A) {
// set lock B
del lock
}
Redis 如果是集群(而不是只有一个 Redis),如果分布式锁的数据不同步怎么办?
Redis + lua 脚本实现:https://blog.youkuaiyun.com/feiying0canglang/article/details/113258494
Redisson 实现分布式锁
Java 客户端(操作 redis),数据网格,实现了很多 Java 里支持的接口和数据结构。
Redisson 是一个 java 操作 Redis 的客户端,提供了大量的分布式数据集来简化对 Redis 的操作和使用,可以让开发者像使用本地集合一样使用 Redis,完全感知不到 Redis 的存在。
- redisson spring boot starter 引入(不推荐,版本迭代太快,redisson 和 springboot 版本 容易冲突)https://github.com/redisson/redisson/tree/master/redisson-spring-boot-starter
- 直接引入: redisson
package com.yupi.yupao.config;
import lombok.Data;
import org.redisson.Redisson;
import org.redisson.api.RedissonClient;
import org.redisson.config.Config;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
/**
* Redisson 配置
*
*/
@Configuration
@ConfigurationProperties(prefix = "spring.redis")
@Data
public class RedissonConfig {
private String host;
private String port;
@Bean
public RedissonClient redissonClient() {
// 1. 创建配置
Config config = new Config();
String redisAddress = String.format("redis://%s:%s", host, port);
config.useSingleServer().setAddress(redisAddress).setDatabase(3);
// 2. 创建实例
RedissonClient redisson = Redisson.create(config);
return redisson;
}
}
package com.yupi.yupao.service;
import org.junit.jupiter.api.Test;
import org.redisson.api.RList;
import org.redisson.api.RLock;
import org.redisson.api.RMap;
import org.redisson.api.RedissonClient;
import org.springframework.boot.test.context.SpringBootTest;
import javax.annotation.Resource;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.concurrent.TimeUnit;
/**
* Redisson 测试
*
*/
@SpringBootTest
public class RedissonTest {
@Resource
private RedissonClient redissonClient;
@Test
void test() {
// list,数据存在本地 JVM 内存中
List<String> list = new ArrayList<>();
list.add("yupi");
System.out.println("list:" + list.get(0));
list.remove(0);
// 数据存在 redis 的内存中
RList<String> rList = redissonClient.getList("test-list");
rList.add("yupi");
System.out.println("rlist:" + rList.get(0));
rList.remove(0);
// map
Map<String, Integer> map = new HashMap<>();
map.put("yupi", 10);
map.get("yupi");
RMap<Object, Object> map1 = redissonClient.getMap("test-map");
// set
// stack
}
}
package com.yupi.yupao.job;
import com.baomidou.mybatisplus.core.conditions.query.QueryWrapper;
import com.baomidou.mybatisplus.extension.plugins.pagination.Page;
import com.yupi.yupao.mapper.UserMapper;
import com.yupi.yupao.model.domain.User;
import com.yupi.yupao.service.UserService;
import lombok.extern.slf4j.Slf4j;
import org.redisson.api.RLock;
import org.redisson.api.RedissonClient;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.core.ValueOperations;
import org.springframework.scheduling.annotation.Scheduled;
import org.springframework.stereotype.Component;
import javax.annotation.Resource;
import java.util.ArrayList;
import java.util.Arrays;
import java.util.List;
import java.util.concurrent.TimeUnit;
/**
* 缓存预热任务
*
*/
@Component
@Slf4j
public class PreCacheJob {
@Resource
private UserService userService;
@Resource
private RedisTemplate<String, Object> redisTemplate;
@Resource
private RedissonClient redissonClient;
// 重点用户
private List<Long> mainUserList = Arrays.asList(1L);
// 每天执行,预热推荐用户
@Scheduled(cron = "0 31 0 * * *")
public void doCacheRecommendUser() {
RLock lock = redissonClient.getLock("yupao:precachejob:docache:lock");
try {
// 只有一个线程能获取到锁
// 前两个参数:等待时间 释放时间 返回true 抢锁成功执行,否则不执行
// waitTime 设置为 0,只抢一次,抢不到就放弃
if (lock.tryLock(0, -1, TimeUnit.MILLISECONDS)) {
System.out.println("getLock: " + Thread.currentThread().getId());
for (Long userId : mainUserList) {
QueryWrapper<User> queryWrapper = new QueryWrapper<>();
Page<User> userPage = userService.page(new Page<>(1, 20), queryWrapper);
String redisKey = String.format("yupao:user:recommend:%s", userId);
ValueOperations<String, Object> valueOperations = redisTemplate.opsForValue();
// 写缓存
try {
valueOperations.set(redisKey, userPage, 30000, TimeUnit.MILLISECONDS);
} catch (Exception e) {
log.error("redis set key error", e);
}
}
}
} catch (InterruptedException e) {
log.error("doCacheRecommendUser error", e);
} finally {
// 只能释放自己的锁
if (lock.isHeldByCurrentThread()) {
System.out.println("unLock: " + Thread.currentThread().getId());
// 释放锁
lock.unlock();
}
}
}
}
测试:
定时任务时间先设定好,大概延后几分钟就行,下面的操作包括:设定定时任务时间—打包—启动三个服务—到时间抢锁其中一个服务抢到锁控制台回馈。
maven-package打包,生成target文件。cd进去相应文件夹。 在使用Java命令设置端口启动项目。java -jar .\yupao-backend-0.0.1-SNAPSHOT.jar --server.port=8081(8081端口)
;开启三个服务。
看门狗机制(逾期问题)
开一个监听线程,如果方法还没执行完,就帮你重置 redis 锁的过期时间。看门狗机制
原理:
- 监听当前线程,默认过期时间是 30 秒,每 10 秒续期一次(补到 30 秒)
- 如果线程挂掉(注意 debug 模式也会被它当成服务器宕机),则不会续期
@Test
void testWatchDog() {
RLock lock = redissonClient.getLock("yupao:precachejob:docache:lock");
try {
// 只有一个线程能获取到锁
if (lock.tryLock(0, -1, TimeUnit.MILLISECONDS)) {
Thread.sleep(300000);//todo 实际要执行的代码
System.out.println("getLock: " + Thread.currentThread().getId());
}
} catch (InterruptedException e) {
System.out.println(e.getMessage());
} finally {
// 只能释放自己的锁
if (lock.isHeldByCurrentThread()) {
System.out.println("unLock: " + Thread.currentThread().getId());
lock.unlock();
}
}
}
这里测试要使用 sleep ,不要使用 debug ,因为 debug 会被误认为是服务器宕机,看门狗策略也会失效。