
Python爬虫
文章平均质量分 77
JinTian312
这个作者很懒,什么都没留下…
展开
-
Python爬虫之自动下载图片
对大佬的图片下载器的小程序很感兴趣,故运行了一下代码块,发现会报类似下图中的Exceeded 30 redirects错。故重新编写了一个访问函数来实现图片下载功能,不过还是要感谢大佬很有趣的idea。一、自动下载图片流程总结网址规律,以便根据网址访问网页;根据网址规律,循环爬取并返回网页;利用正则表达式提取并返回图片。二、Python实现根据总结的爬图片流程,按步骤进行Python实现如下:总结网址规律打开百度-点击图片一栏,可以看到此时的网址为:https://image原创 2021-01-25 18:10:32 · 889 阅读 · 1 评论 -
Python爬虫之urllib库
python爬虫之urllib库一、urllib简介urllib是python中的一个http请求库,借助urllib,我们可以向浏览器发出请求,只需向urllib库中的方法传入url和一些参数即可。urllib库中包含以下模块:urllib.requesthttp请求模块,用于模拟向浏览器发出请求的过程;urllib.error异常处理模块,当利用urllib.request模拟向浏览器发出请求时,如果出现请求错误,可以利用此模块捕获异常信息,然后进行重试或其他操作,以保证程序不会意原创 2021-01-19 14:19:26 · 739 阅读 · 3 评论 -
Python爬虫之爬取豆瓣图书TOP250
爬取豆瓣图书TOP250图书信息及图书海报写这篇主要是为了去图书馆不知道看什么书或者不知道该买些什么书的时候可以参考经过众多豆友们点评出的好书推荐,哈哈哈哈哈。上代码(全部代码均在这里,只是分开按照步骤解释一下)第一步:导入需要用到的包。from bs4 import BeautifulSoup # 网页解析,获取数据import urllib.request, urllib.error # 指定url,获取网页数据import re原创 2021-01-21 18:14:58 · 8281 阅读 · 0 评论