Python3||爬虫||伪装浏览器||requests VS. urllib区别

有些服务器拒绝非浏览器查看,比如爬虫,因此,在用程序爬取服务器信息时,需要伪装成浏览器,其实也很简单,就是改一下headers参数.

headers:以谷歌浏览器为例,在地址栏输入chrome://verison,复制"用户代理"下的内容就是headers

headers = {
   
   'User-Agent':'Mozilla/5.0xxxx'}

• requests 与 urllib区别

爬取数据的包有两个requests和urllib。新手（比如我）经常搞混。详细解释可看我另一篇文章(传送虫洞).

requests	urllib
官方文档 library	官方文档