起因:
看到这样一条微博,
有些网站禁止未登陆用户访问,但会对搜索引擎开绿灯。开绿灯的方式有可能只是简单地判断 User Agent。
所以,只要把浏览器的 User Agent 改为搜索引擎的爬虫即可访问其内容。对 Chrome 来说就是按 F12,点下面那三个点,在菜单中选 Network conditions,然后将 User Agent 设置为 Googlebot 即可。 via @tombkeeper
另外,博主在评论出指出,
F12 这招只对当前标签页有效,适合临时查个资料看一下。对某些需要长时间沉浸式体验的网站,可以直接在命令行上修改全局 User Agent:chrome.exe --user-agent=“Mozilla/5.0 (compatible; Googlebot/2.1)”
正文:
也许是很多人的困惑。作为计算机菜鸡,刚用mac时就有一个疑惑,浏览器(或搜索引擎)是如何知道我的设备从而给出不同的界面(或搜索结果)。一个更直接的例子,用手机和电脑打开同一个网址会跳转到不同的页面(即手机端会跳到移动版)。今天彻底解决了困扰多年的疑惑,上面这条微博堪称老中医了,故这篇文章也是基于此发散开来。
在浏览器中有一个选项叫user agent,即用户代理,默认情况下会根据设备自动选择。
按command+option+i进入开发者模式-Network conditions,拉到最下面可以看到。
手动选择不同的user agent,再刷新页面即可看到效果。但这是治标不治本的,下一次再打开浏览器时又要重新设置。因此上面给出了在Wins上通过命令行全局修改User Agent的