12.python-爬虫的基础认知,选择自己喜好的浏览器,推荐谷歌浏览器(个人推荐,选不选自己选择)

本文详细介绍如何设置Chrome浏览器以辅助爬虫工作,包括修改默认搜索引擎、检查网页源码及加载数据,利用Network功能分析请求详情,是爬虫初学者的必备指南。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

爬虫的浏览器一般讲究效率,使自己选择的。

选取一个浏览器,小白,网上得出结论谷歌浏览器OK!不是不让用了吗?怎么还用谷歌??

  • 为什么爬虫要用Chrome?

  • 为什么大家似乎都值得header应该怎么写?

  • 为什么大家都知道怎么爬取网页的路线?

  • 为什么....

如果你也跟我一样,有过上面类似的疑问,那么我觉得,这篇文章你可能值得看一下。



1. 设置谷歌

打开设置--->有一个设置--->打开设置

       设置下滑到搜索引擎选择不是谷歌的,建议百度,把它设置成其他的引擎就行了,爬虫用的是这个谷歌浏览器程序的功能,又不是谷歌浏览器界面对吧.


2.使用谷歌

      用Chrome很容易看到网页的源码轻松右键 -> 检查,就可以看到这个源代码.

 


通过浏览器得到加载的数据

    检查中还可以看网页从服务器上不断加载包,虽然一开始我们点开的时候,网页其实已经加载好了。对于所谓的静态网页在这个地方其实已经加载好了。(百度的首页,一般会被认为是静态网页),但是还可以通过这个来看。 比如: 刷新一下网页~~~~~不过,在那之前,我们要点之前检查的最上面的 network,一般默认是选中All模式的,在中间偏上的部分。点好之后,我们就可以刷新

       比如:我们可以检查之前的那个包,就可以看那些包的具体信息。那样,我们就可以得到了所有很多重要的信息了

 

       比如像上面的我们可以看到这个信息,是通过上面header拿到的。不过这个,有些会把这个给隐藏掉。但基本是没有问题的,一般我们只要知道一个就好了。还有其他的骚操作,比如:看看这个包是怎么拿下来的,这样我们就可以特定地拿数据了。

 

通过这个,我们可以看到这个,用的是https://www.baidu.com/img/bd_logo1.png这个url,请求的方法是get,还可以得到对方的服务器地址。

 

最后还可以通过最后的tim来看一下这个东西下载所用的时间
(可以算是测测速?)

 


      这就是谷歌浏览器的设置及其用法,以后的爬虫会经常使用的,也是作为爬虫的一个基本技能.(没设置的人赶紧去设置一下,没用过的人赶紧去试一试!!!!)

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值