判断是否为爬虫的请求

最新推荐文章于 2025-04-26 23:24:01 发布

全脂主妇

最新推荐文章于 2025-04-26 23:24:01 发布

阅读量2.2k

点赞数

CC 4.0 BY-SA版权

分类专栏： http 文章标签： http user-agent 浏览器

本文链接：https://blog.youkuaiyun.com/lihuifen2011/article/details/84625905

http 专栏收录该内容

3 篇文章

订阅专栏

User-Agent是Http协议中的一部分，属于头域的组成部分，User Agent也简称UA。用较为普通的一点来说，是一种向访问网站提供你所使用的浏览器类型、操作系统及版本、CPU 类型、浏览器渲染引擎、浏览器语言、浏览器插件等信息的标识。UA字符串在每次浏览器 HTTP 请求时发送到服务器！

判断浏览器请求类型的方法，见如下代码：

1.Java代码：

public static boolean isRobotRequest(HttpServletRequest request) {
			String userAgent = request.getHeader("user-agent");
			if (userAgent == null)
				return false;

			userAgent = userAgent.toLowerCase();

			if (userAgent.contains("spider")) {
				return true;
			} else if (userAgent.contains("bot")) {
				return true;
			} else if (userAgent.contains("nutch")) {
				return true;
			} else if (userAgent.contains("yahoo")) {
				return true;
			} else if (userAgent.contains("gougou")) {
				return true;
			} else if (userAgent.contains("scooter")) {
				return true;
			} else if (userAgent.contains("lilina")) {
				return true;
			}

			return false;
		}