tang7mj的博客

如果我们把互联网看作一张巨大的蜘蛛网，那么网页上的每条数据就像网上的小虫子，而爬虫程序就是那只在网上捕捉这些信息的小蜘蛛。通过程序模拟浏览器，向网站发送请求，从网页中提取数据。手段作用User-Agent 检查判断你是不是浏览器发来的请求Referer 检查检查你是否从合法页面跳转过来Cookies / 登录验证判断你是否是人类用户IP封禁 / 访问频率限制限制访问速率，识别脚本操作JavaScript动态渲染让你在没浏览器环境下拿不到真正内容。