爬虫入门
requests包
爬虫可以用的包还是蛮多的,我这里就只用requests包进行测试了
如果没有requests包的话,就进入想要用的虚拟环境,键入
pip install requests
获得了requests包以后,我们就可以简单的实现一下爬虫了
获得所需要的信息
首先我们需要先获取需要向哪个路径发送请求,我们找到自己需要获取的网页,我这里用皮卡丘的百度图片搜索来进行测试
至于怎么进去就不要我说了吧,然后我们进入页面后点击检查元素,找到network块
里面的request URL就是我们需要发送信息的地址了,注意这里所有的信息将来我们都可能会用的到,可以用来伪装自己发送信息等。
现在我们来模拟发送一个请求吧
获得URL信息
first_level_url='https://image.baidu.com/search/index?tn=baiduimage&ct=201326592&lm=-1&cl=2&ie=gb18030&word=%C6%A4%BF%A8%C7%F0&fr=ala&ala=1&