学习爬虫过程遇到的各种问题集锦

最新推荐文章于 2024-02-20 15:43:58 发布

原创

最新推荐文章于 2024-02-20 15:43:58 发布 · 2.2k 阅读

4 ·

CC 4.0 BY-SA版权

在学习Python爬虫过程中遇到了多个问题，包括无法访问的网址、图片乱码、文件覆盖等。通过异常处理、编码转换、正则表达式调整、变量作用域修正以及理解文件路径操作解决了这些问题。例如，使用decode('utf-8')处理乱码，将变量置于for循环外部避免文件覆盖，以及正确理解os模块中的文件路径操作。

用xpath爬取 https://www.ivsky.com/tupian/haiyangshijie/，
问题1：检查了好多遍代码，一直如下错误报错
在这里插入图片描述

开始下载 形态各异的海马图片(11张) https://www.ivsky.com/tupian/haima_v50562/
None
Traceback (most recent call last):
  File "20190422ivskyxpath.py", line 59, in <module>
    img_titles1=html1.xpath('//ul[@class="pli"]/li/div/a/@title')
AttributeError: 'NoneType' object has no attribute 'xpath'

后来经过热心的朋友指点，发现是爬取的图片网站列表里面的这个https://www.ivsky.com/tupian/haima_v50562/ 根本打不开，最后做了异常判断排除解决。

问题2 ：
下载后保存的图片竟然打不开，后来记事本打开后发现是乱码，加了.decode(‘utf-8’)，也就是resp=requests.get(url,headers=headers).content.decode(‘utf-8’) 解决。
还有一种情况，记得爬取贴吧时一些保存的图片打不开，用记事本打开发现里面是一些网页的html代码，后来发现是正则匹配错误问题，修改正则后解决。

问题3：
保存在一个文件夹里的图片不停的被后来抓取的图片覆盖掉，百思不得其解，觉得好神奇，后来经热心朋友指点发现是吧变量放在for 循环内外出现的问题，修改后解决此问题，用一