看了一篇大牛的博客,其中有一个点是用nginx分离爬虫和正常用户流量, 这种写法和我们之前用nginx lua中分离流量的用法很相似,在此记录一下, 就是先定义一个默认变量,也就是flag,然后针对flag进行判断,然后导向不同的后端。
set $flag 0;
if ($http_user_agent ~* "spider") {
set $flag "1";
}
if($flag = "0") {
//代理到正常集群
}
if ($flag = "1") {
//代理到爬虫集群
}