判断是否为爬虫的请求

User-Agent是Http协议中的一部分，属于头域的组成部分，User Agent也简称UA。用较为普通的一点来说，是一种向访问网站提供你所使用的浏览器类型、操作系统及版本、CPU 类型、浏览器渲染引擎、浏览器语言、浏览器插件等信息的标识。UA字符串在每次浏览器 HTTP 请求时发送到服务器！

判断浏览器请求类型的方法，见如下代码：

1.Java代码：

public static boolean isRobotRequest(HttpServletRequest request) {
			String userAgent = request.getHeader("user-agent");
			if (userAgent == null)
				return false;

			userAgent = userAgent.toLowerCase();

			if (userAgent.contains("spider")) {
				return true;
			} else if (userAgent.contains("bot")) {
				return true;
			} else if (userAgent.contains("nutch")) {
				return true;
			} else if (userAgent.contains("yahoo")) {
				return true;
			} else if (userAgent.contains("gougou")) {
				return true;
			} else if (userAgent.contains("scooter")) {
				return true;
			} else if (userAgent.contains("lilina")) {
				return true;
			}

			return false;
		}

2.JS代码：
使用navigator.userAgent来获得