
爬虫
不是七七子
默默努力,慢慢成长。
展开
-
Python爬虫-爬取豆瓣高分电影封面
本文是本人最近学习Python爬虫所做的小练习。如有侵权,请联系删除。原创 2024-02-26 10:32:40 · 763 阅读 · 2 评论 -
Python爬虫-爬取B站番剧封面
本文是本人最近学习Python爬虫所做的小练习。如有侵权,请联系删除。原创 2024-02-25 18:43:15 · 2777 阅读 · 3 评论 -
Python爬虫-存储到csv乱码-使用utf-8-sig编码
在PyCharm编辑器中,打开是正常的,在open()函数中将编码方式修改为。直接打开csv文件,却是乱码一通。原创 2024-02-24 14:02:29 · 575 阅读 · 0 评论 -
Python爬虫-报错requests.exceptions.SSLError: HTTPSConnectionPool
百思不得其解,突然想到一句话,“代码一模一样但是运行不成功的话,要看环境有没配好”,然后我对比了公司和我电脑的Python解释器,我个人电脑的是Python 3.12版本,公司电脑我下载的是Python 3.6。果然不一样,然后我换成了3.6的,就可以成功运行了!在学习python爬虫,在公司运行代码没有问题,但是下班回来把代码拉下来运行,却出现问题。原创 2024-02-23 21:51:27 · 1897 阅读 · 2 评论 -
爬虫——Chrome与chromedriver版本不一致
爬虫学到了Selenium,运行代码出现错误,首先得要安装Selenium。pip install selenium然后运行这段代码from selenium import webdriverdriver = webdriver.Chrome()driver.get("http://www.baidu.com/")有错误,尝试了很多方法,都有不同的错误。(忘了截图)但总的原因就是Chrome与chromedriver版本不一致。我还以为我用的是百分浏览器,不是谷歌,还特地下载谷歌,发现原创 2021-02-20 19:00:59 · 451 阅读 · 1 评论 -
爬虫笔记(一)——第一个爬虫
最近对爬虫比较感兴趣,就在csdn上的电子书里找了本爬虫书(Python网络爬虫从入门到实践 第2版)学学看,顺便做下笔记。注意:我们不管是在学习爬虫或者以后使用爬虫,都要遵守爬虫协议,也就是Robots协议,网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。Python爬虫的流程获取网页就是给一个网址发送请求,该网址会返回整个网页的数据。类似于在浏览器中键入网址并按回车键,然后可以看到网站的整个页面。解析网页就是从整个网页的数据中提取想要的数据。类似于你在页面中想找到.原创 2021-02-20 12:27:31 · 3090 阅读 · 5 评论