Nginx 负载均衡的Cache缓存批量清理的操作记录

Nginx 负载均衡的Cache缓存批量清理的操作记录

 

1)nginx.conf配置

[root@inner-lb01 ~]# cat /data/nginx/conf/nginx.conf

user  www;

worker_processes  8;

  

#error_log  logs/error.log;

#error_log  logs/error.log  notice;

#error_log  logs/error.log  info;

  

#pid        logs/nginx.pid;

  

  

events {

    worker_connections  65535;

}

  

  

http {

    include       mime.types;

    default_type  application/octet-stream;

    charset utf-8;

        

    ######

    ## set access log format

    ######

    log_format  main  '$remote_addr $remote_user [$time_local] "$request" '

                  '$status $body_bytes_sent "$http_referer" '

                  '$http_user_agent $http_x_forwarded_for $request_time $upstream_response_time $upstream_addr $upstream_status';

  

    #######

    ## http setting

    #######

    sendfile       on;

    tcp_nopush     on;

    tcp_nodelay    on;

    keepalive_timeout  65;

    proxy_cache_path /var/www/cache levels=1:2 keys_zone=mycache:20m max_size=2048m inactive=60m;

    proxy_temp_path /var/www/cache/tmp;

  

    fastcgi_connect_timeout 3000;

    fastcgi_send_timeout 3000;

    fastcgi_read_timeout 3000;

    fastcgi_buffer_size 256k;

    fastcgi_buffers 8 256k;

    fastcgi_busy_buffers_size 256k;

    fastcgi_temp_file_write_size 256k;

    fastcgi_intercept_errors on;

  

    #

    client_header_timeout 600s;

    client_body_timeout 600s;

   # client_max_body_size 50m;

    client_max_body_size 100m;

    client_body_buffer_size 256k;

  

    gzip  on;

    gzip_min_length  1k;

    gzip_buffers     4 16k;

    gzip_http_version 1.1;

    gzip_comp_level 9;

    gzip_types       text/plain application/x-javascript text/css application/xml text/javascript application/x-httpd-php;

    gzip_vary on;

  

    ## includes vhosts

    include vhosts/*.conf;

}

针对上面的配置,注意下面两点:
1. log_format如上的配置后,nginx的log日志中就能显示客户端访问的来源ip了。如下:
[root@inner-lb01 ~]# tail -10 /data/nginx/logs/bs7001.wangshibo.cn-access.log

172.16.51.163 - [21/Nov/2017:17:01:46 +0800] "POST /SmartPage/baseBusinessEventServer.service HTTP/1.1" 200 408 "-" Java/1.7.0_79 - 0.033 0.033 172.16.51.161:7001 200

172.16.51.163 - [21/Nov/2017:17:01:46 +0800] "POST /SmartPage/baseBusinessEventServer.service HTTP/1.1" 200 408 "-" Java/1.7.0_79 - 0.021 0.021 172.16.51.161:7001 200

172.16.51.163 - [21/Nov/2017:17:01:52 +0800] "POST /SmartPage/baseBusinessEventServer.service HTTP/1.1" 200 408 "-" Java/1.7.0_79 - 0.028 0.028 172.16.51.161:7001 200

172.16.51.163 - [21/Nov/2017:17:01:52 +0800] "POST /SmartPage/baseBusinessEventServer.service HTTP/1.1" 200 408 "-" Java/1.7.0_79 - 0.022 0.022 172.16.51.161:7001 200

172.16.51.163 - [21/Nov/2017:17:01:58 +0800] "POST /SmartPage/baseBusinessEventServer.service HTTP/1.1" 200 408 "-" Java/1.7.0_79 - 0.033 0.033 172.16.51.161:7001 200

172.16.51.163 - [21/Nov/2017:17:01:58 +0800] "POST /SmartPage/baseBusinessEventServer.service HTTP/1.1" 200 408 "-" Java/1.7.0_79 - 0.021 0.021 172.16.51.161:7001 200

172.16.51.163 - [21/Nov/2017:17:02:04 +0800] "POST /SmartPage/baseBusinessEventServer.service HTTP/1.1" 200 408 "-" Java/1.7.0_79 - 0.034 0.034 172.16.51.161:7001 200

172.16.51.163 - [21/Nov/2017:17:02:04 +0800] "POST /SmartPage/baseBusinessEventServer.service HTTP/1.1" 200 408 "-" Java/1.7.0_79 - 0.021 0.021 172.16.51.161:7001 200

172.16.51.163 - [21/Nov/2017:17:02:10 +0800] "POST /SmartPage/baseBusinessEventServer.service HTTP/1.1" 200 408 "-" Java/1.7.0_79 - 0.031 0.031 172.16.51.161:7001 200

172.16.51.163 - [21/Nov/2017:17:02:10 +0800] "POST /SmartPage/baseBusinessEventServer.service HTTP/1.1" 200 408 "-" Java/1.7.0_79 - 0.022 0.022 172.16.51.161:7001 200

2. nginx的静态缓存配置:
proxy_cache_path /var/www/cache          表示定义缓存存储目录,手动创建;
levels=1:2          缓存级别,表示缓存目录的第一级目录是1个字符,第二级目录是2个字符;
keys_zone=mycache:20m      内核中建立用于缓存缓存数据源数据的空间,查找缓存的时候,先从这个内核空间中找到,缓存数据的源数据,然后再到对应目录中查找缓存;
max_size=2048m        缓存空间最大值;
inactive=60m         缓存的数据,60分钟内没有被访问过就删除 
proxy_temp_path /var/www/cache/tmp         表示创建缓存的时候可能生成一些临时文件存放的位置,自动创建

2)vhosts虚拟目录的upstream配置

[root@inner-lb01 ~]# cat /data/nginx/conf/vhosts/bs7001.wangshibo.cn.conf

upstream bs7001 {

      ip_hash;

      server 172.16.51.161:7001 max_fails=3 fail_timeout=15s;

      server 172.16.51.162:7001 max_fails=3 fail_timeout=15s;

}

           

  server {

      listen      80;

      server_name bs7001.wangshibo.cn;

     

      access_log  /data/nginx/logs/bs7001.wangshibo.cn-access.log main;

      error_log  /data/nginx/logs/bs7001.wangshibo.cn-error.log;

     

 location / {

         proxy_pass http://bs7001;

         proxy_redirect off ;

         proxy_set_header Host $host;

         proxy_set_header X-Real-IP $remote_addr;

         proxy_set_header REMOTE-HOST $remote_addr;

         proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

         proxy_connect_timeout 300;

         proxy_send_timeout 300;

         proxy_read_timeout 600;

         proxy_buffer_size 256k;

         proxy_buffers 4 256k;

         proxy_busy_buffers_size 256k;

         proxy_temp_file_write_size 256k;

         proxy_next_upstream error timeout invalid_header http_500 http_502 http_503 http_504 http_404;

         proxy_max_temp_file_size 128m;

         proxy_cache mycache;

         proxy_cache_valid 200 302 1h;

         proxy_cache_valid 301 1d;

         proxy_cache_valid any 1m;

        }

}

由上面的配置需要注意:
proxy_cache mycache;            表示内存缓存源数据空间名字,nginx.conf文件里已经定义
proxy_cache_valid 200 302 1h;       表示200、302状态的页面资源缓存1小时
proxy_cache_valid 301 1d;        表示301状态的页面资源缓存1天
proxy_cache_valid any 1m;       他缓存1分钟

 3)清理cache缓存

[root@inner-lb01 ~]# ll /var/www/cache/

total 68

drwx------ 27 www www  4096 Nov 21 16:24 0

drwx------ 24 www www  4096 Nov 21 16:24 1

drwx------ 27 www www  4096 Nov 21 16:24 2

drwx------ 21 www www  4096 Nov 21 17:18 3

drwx------ 35 www www  4096 Nov 21 16:24 4

drwx------ 31 www www  4096 Nov 21 16:24 5

drwx------ 34 www www  4096 Nov 21 14:38 6

drwx------ 28 www www  4096 Nov 21 14:38 7

drwx------ 26 www www  4096 Nov 21 16:25 8

drwx------ 23 www www  4096 Nov 21 16:24 9

drwx------ 25 www www  4096 Nov 21 16:13 a

drwx------ 25 www www  4096 Nov 21 14:58 b

drwx------ 21 www www  4096 Nov 21 16:24 c

drwx------ 18 www www  4096 Nov 21 16:12 d

drwx------ 18 www www  4096 Nov 21 16:25 e

drwx------ 20 www www  4096 Nov 21 16:24 f

drwx------  2 www root 4096 Nov 21 17:18 tmp

编写批量清理缓存的脚本

[root@inner-lb01 ~]# cat /opt/nginx_cache_clean.sh

#!/bin/bash 

#Email:wangshibo@wangshibo.com

#Auto Clean Nginx Proxy_Cache Shell Scripts 

#Aunthor:wanghsibo

#Date:2017-11-20

echo -e "\n\n" 

echo -n -e "\e[35;1m请输入Nginx Proxy_cache缓存的具体路径(友情提示:可以使用Tab补全功能哦!)\e[0m\e[34;5m:\e[0m" 

read -e path 

CACHE_DIR=$path 

echo -e "\e[32;1m----------------------------------------------------------------\e[0m" 

echo -e "\e[32;1m----------------------------------------------------------------\e[0m" 

echo -n -e "\e[32;1m请输入你要删除的动作\n1.按文件类型删除\t2.按具体文件名删除\t3.按文件目录删除\n:" 

read action 

     case $action in 

1) 

echo -e "\e[32;1m----------------------------------------------------------------\e[0m" 

echo -e "\e[32;1m----------------------------------------------------------------\e[0m" 

echo -n -e "\e[34;1m 请输入你要删除的缓存文件类型(可以输入多个参数空格隔开)\e[0m\e[34;5m:\e[0m" 

read -a FILE 

for i in `echo ${FILE[*]}|sed 's/ /\n/g'` 

do 

grep -r -a  \.$i ${CACHE_DIR}| awk 'BEGIN {FS=":"} {print $1}'  > /tmp/cache_list.txt 

 for j in `cat /tmp/cache_list.txt` 

do 

   rm  -rf  $j 

   echo "$i  $j 删除成功!" 

 done 

done 

;; 

2) 

echo -e "\e[32;1m----------------------------------------------------------------\e[0m" 

echo -e "\e[32;1m----------------------------------------------------------------\e[0m" 

echo -n -e "\e[33;1m 请输入你要删除的缓存文件具体名称(可以输入多个参数空格隔开)\e[0m\e[34;5m:\e[0m" 

read -a FILE 

for i in `echo ${FILE[*]}|sed 's/ /\n/g'` 

do 

grep -r -a  $i ${CACHE_DIR}| awk 'BEGIN {FS=":"} {print $1}'  > /tmp/cache_list.txt 

 for j in `cat /tmp/cache_list.txt` 

do 

   rm  -rf  $j 

   echo "$i  $j 删除成功!" 

 done 

done 

;; 

3) 

echo -e "\e[32;1m----------------------------------------------------------------\e[0m" 

echo -e "\e[32;1m----------------------------------------------------------------\e[0m" 

echo -n -e "\e[33;1m支持的模式有:\n1.清除网站store目录下的所有缓存:test.dd.com/data/upload/shop/store\n2.清除网站shop下的所有缓存:test.dd.com/data/upload/shop\e[0m\n" 

echo -n -e "\e[34;1m 请输入你要删除的缓存文件具体目录\e[0m\e[34;5m:\e[0m" 

read -a FILE 

for i in `echo ${FILE[*]}|sed 's/ /\n/g'` 

do 

grep -r -a  "$i" ${CACHE_DIR}| awk 'BEGIN {FS=":"} {print $1}'  > /tmp/cache_list.txt 

 for j in `cat /tmp/cache_list.txt` 

do 

   rm  -rf  $j 

   echo "$i  $j 删除成功!" 

 done 

done 

;; 

*) 

echo "输入错误,请重新输入" 

;; 

esac

执行脚本:

[root@inner-lb01 ~]# chmod 755 /opt/nginx_cache_clean.sh
[root@inner-lb01 ~]# sh /opt/nginx_cache_clean.sh
 
 
 
请输入Nginx Proxy_cache缓存的具体路径(友情提示:可以使用Tab补全功能哦!):/var/www/cache/
----------------------------------------------------------------
----------------------------------------------------------------
请输入你要删除的动作
1.按文件类型删除   2.按具体文件名删除  3.按文件目录删除
:1
----------------------------------------------------------------
----------------------------------------------------------------
 请输入你要删除的缓存文件类型(可以输入多个参数空格隔开):html htm js css jpg gif png jpeg bmp flv swf ico
html  /var/www/cache/6/5e/75685391e510dde1671cb198c113e5e6 删除成功!
html  /var/www/cache/3/b7/49e71a93813bcedd9e0c679bc20c1b73 删除成功!
html  /var/www/cache/3/b7/49e71a93813bcedd9e0c679bc20c1b73 删除成功!
html  /var/www/cache/8/86/ee4a14c4cc9e12503f9e8bef123df868 删除成功!
html  /var/www/cache/8/53/a9e2ef17aba2c92aac71b36a50329538 删除成功!
html  /var/www/cache/8/53/a9e2ef17aba2c92aac71b36a50329538 删除成功!
html  /var/www/cache/8/53/a9e2ef17aba2c92aac71b36a50329538 删除成功!
html  /var/www/cache/8/53/a9e2ef17aba2c92aac71b36a50329538 删除成功!
js  /var/www/cache/f/3c/6a74478ecb76c1235ef47766e1b333cf 删除成功!
js  /var/www/cache/f/3c/6a74478ecb76c1235ef47766e1b333cf 删除成功!
js  /var/www/cache/1/2b/eeabd84e3ed8cc4bec61f608e2ab32b1 删除成功!
js  /var/www/cache/6/98/e38773f35e9e18fe4449396105faf986 删除成功!
js  /var/www/cache/e/d6/5c7f20342601e4cee752424175e35d6e 删除成功!
js  /var/www/cache/8/f9/ec9fa02ace81a82d98baa04b3d810f98 删除成功!
js  /var/www/cache/7/62/4ad7e6a1ea04cf484a911250e5af5627 删除成功!
js  /var/www/cache/7/62/4ad7e6a1ea04cf484a911250e5af5627 删除成功!
js  /var/www/cache/c/a7/1edf94c22612d6e7f2cb2c0b289dba7c 删除成功!
js  /var/www/cache/a/2e/6673665a2ec9fae7640f61c121ae42ea 删除成功!
css  /var/www/cache/7/45/26ddc4b8c5085be9757b90cd4a36a457 删除成功!
css  /var/www/cache/7/45/26ddc4b8c5085be9757b90cd4a36a457 删除成功!
css  /var/www/cache/7/7f/cb39e58e71c9fb5a1ba77107288167f7 删除成功!
css  /var/www/cache/7/7f/cb39e58e71c9fb5a1ba77107288167f7 删除成功!
css  /var/www/cache/a/45/9270775ac808bde171eda5f39547845a 删除成功!
css  /var/www/cache/a/45/9270775ac808bde171eda5f39547845a 删除成功!
css  /var/www/cache/a/45/9270775ac808bde171eda5f39547845a 删除成功!
css  /var/www/cache/2/40/ab83b9cdeec1955375d28f6e74b6e402 删除成功!
css  /var/www/cache/2/40/ab83b9cdeec1955375d28f6e74b6e402 删除成功!
png  /var/www/cache/f/a0/eaa602c9070ef04101a5c148d63b4a0f 删除成功!
png  /var/www/cache/f/a0/eaa602c9070ef04101a5c148d63b4a0f 删除成功!
png  /var/www/cache/f/a0/eaa602c9070ef04101a5c148d63b4a0f 删除成功!
png  /var/www/cache/f/a0/eaa602c9070ef04101a5c148d63b4a0f 删除成功!
png  /var/www/cache/f/a0/eaa602c9070ef04101a5c148d63b4a0f 删除成功!
png  /var/www/cache/1/f7/3ba2c5ee13c4a086ed885221cb1a9f71 删除成功!
png  /var/www/cache/1/f7/3ba2c5ee13c4a086ed885221cb1a9f71 删除成功!
png  /var/www/cache/6/f3/5e00a9011498e811a075031373928f36 删除成功!
png  /var/www/cache/6/f3/5e00a9011498e811a075031373928f36 删除成功!
png  /var/www/cache/8/70/03a64ee54acbe99ce81d2e907edec708 删除成功!

上面脚本执行后,会提示输入cache的缓存目录,然后选择删除缓存文件的条件(这里我选择"按文件类型删除"),选择了删除html 、htm、js、css、jpg 、gif、 png 、jpeg 、bmp 、flv、 swf 、ico这12中文件格式的缓存文件。

或者直接使用find命令查找缓存目录下的文件,直接将文件全部删除

# find /var/www/cache -type f|xargs rm -f

-------------------Nginx禁用html、js、css缓存-----------------

 

在本地开发的时候,经常会碰到缓存引起的莫名其妙的问题,最暴力的方式就是清掉浏览器的缓存,或者使用Ctrl + F5,Shift + F5强制刷新页面。
有时候按了好几下,缓存还是清不掉,只能暂时禁用浏览器静态资源缓存了,配置如下:
location ~.*\.(js|css|html|png|jpg)$
{
    add_header Cache-Control no-cache;
}
 
或者
location /js
{
    add_header Cache-Control no-cache;
}
 
现在,按F5就行了!

原文转自:http://www.cnblogs.com/kevingrace/p/5840950.html

<think>嗯,用户想了解缓存ID的实现机制和相关依赖的解决方案。首先,我需要明确缓存ID具体指的是什么。在缓存系统中,缓存ID通常是用来唯一标识缓存数据的键,比如在Redis或Memcached中,每个缓存项都有一个唯一的键。用户可能是在开发中遇到了缓存键管理的问题,或者依赖关系处理不当导致的缓存一致性问题。 接下来,我得回忆一下常见的缓存机制。根据引用[4],缓存异常有雪崩、击穿、穿透等问题,这可能和缓存ID的设计有关。比如,如果大量缓存键同时失效,会导致雪崩。所以缓存ID的生成策略需要合理设置过期时间,避免集中失效。 然后,缓存ID的实现机制可能涉及生成算法。比如使用业务数据的主键、参数哈希或者命名空间组合,确保唯一性。引用[2]提到本地缓存和Redis的结合,可能缓存ID需要跨实例唯一,否则多个实例的本地缓存可能不一致。这时候可能需要统一的命名规则,或者像布隆过滤器这样的结构来避免缓存穿透(引用[1])。 关于依赖问题,缓存之间的依赖关系,比如一个缓存项更新导致其他相关缓存失效。解决方案可能包括版本号控制,或者在更新时发布事件通知其他缓存失效,如引用[2]中的监听机制,当Redis缓存失效时通知本地缓存清除数据。引用[3]提到的二级缓存,可能需要处理一级和二级缓存之间的同步,这时候缓存ID的版本管理就很重要。 另外,分布式环境下,缓存ID的生成需要考虑并发和一致性。可能需要分布式锁,如引用[1]中的方案2和3,使用应用级锁或分布式锁来控制并发更新,避免脏数据。同时,引用[5]提到用nginx负载均衡,多实例情况下,缓存ID的设计要确保每个实例能正确识别和处理相同的键。 用户的问题可能还涉及缓存与数据库的一致性问题。比如,当数据更新时,如何使缓存ID对应的缓存项失效。引用[4]提到双写一致性问题,解决方案包括延迟双删、使用消息队列异步更新等。这时候缓存ID的版本或时间戳可以帮助识别最新数据。 总结一下,缓存ID的机制需要考虑生成策略、唯一性、过期管理,而依赖问题需要处理失效传播、版本控制、分布式同步。可能需要结合布隆过滤器、分布式锁、监听机制等技术。需要引用相关的引用内容来支持这些解决方案,比如布隆过滤器防穿透(引用[1]),监听机制(引用[2]),二级缓存处理(引用[3]),以及分布式环境下的负载均衡(引用[5])。 可能用户的实际场景是,在高并发系统中,缓存ID管理不当导致性能问题或数据不一致。需要从生成、失效处理、依赖管理等方面给出方案,并引用已有的解决方案,比如设置热点数据永不过期(引用[1]方案1),使用版本号(引用[3]的二级缓存数据删除),或者结合本地和分布式缓存的机制(引用[2])。</think>### 缓存ID的实现机制与相关依赖解决方案 #### 一、缓存ID的实现机制 1. **基本定义** 缓存ID(Cache Key)是唯一标识缓存数据的字符串,通常由业务参数、数据标识符或哈希算法生成。例如,用户信息的缓存ID可设计为:`user_profile:{user_id}`[^4]。 2. **核心实现方式** - **参数组合**:将查询参数拼接为唯一键,如`product:{id}:{version}`。 - **哈希算法**:对复杂参数生成哈希值(如MD5或SHA-1),避免键过长,例如:`cache:${md5("param1=abc&param2=def")}`[^1]。 - **命名空间分层**:通过层级划分(如`module:submodule:id`)增强可管理性[^3]。 3. **动态失效控制** - 设置过期时间(TTL),结合**随机偏移**防止雪崩,例如:`TTL = base_time + random(0, 300s)`。 - 通过**版本号**实现批量失效,如更新数据时递增版本:`data_v2:{id}`。 #### 二、缓存依赖问题及解决方案 1. **数据一致性依赖** - **数据库与缓存同步** 采用**延迟双删策略**:先删缓存 → 更新数据库 → 延迟再删缓存,确保最终一致性。 - **消息队列异步更新**:通过MQ通知其他服务更新缓存,例如订单修改后触发库存缓存刷新[^5]。 2. **多级缓存依赖** - **本地缓存与分布式缓存协同** 如引用[2]所示,Redis服务端监听缓存失效事件并通知本地缓存(ClientSideCaching),实现两级缓存的自动同步: ```java // Redis监听失效后触发本地缓存清理 redisCache.addInvalidationListener(caching::notifyInvalidate); ``` 3. **热点数据依赖** - **分布式锁控制并发**:对热点缓存ID的访问加锁(如Redis的`SETNX`),防止击穿。 - **本地标记降级**:在应用层标记“加载中”状态,避免重复请求穿透到数据库。 #### 三、典型场景解决方案 | 问题类型 | 场景示例 | 解决方案 | |----------------|--------------------------|--------------------------------------------| | 缓存穿透 | 查询不存在的用户ID | 布隆过滤器拦截非法请求 | | 缓存雪崩 | 大量缓存同时过期 | TTL添加随机值 + 高可用集群[^4] | | 多服务依赖更新 | 订单状态影响库存展示 | 通过MQ广播失效事件 | #### 四、实践建议 1. **监控与诊断** - 对高频访问的缓存ID进行命中率监控,优化TTL策略。 - 使用`slowlog`分析Redis中耗时操作,优化键设计[^2]。 2. **工具集成** - 结合Spring Cache注解管理缓存ID,例如: ```java @Cacheable(value = "user", key = "#id") public User getUser(String id) { ... } ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值