新手初入爬虫有哪些点要注意？

网络安全_入门教程

已于 2024-01-05 16:16:06 修改

阅读量1.3k

点赞数

分类专栏： Python爬虫文章标签：爬虫 python 网络爬虫 python学习

于 2023-04-27 14:45:00 首次发布

本文链接：https://blog.youkuaiyun.com/Python84310366/article/details/130400370

版权

Python爬虫专栏收录该内容

9 篇文章

订阅专栏

爬虫最基本的结构和流程：调度、下载、抽取、入库

01 IP被封

爬虫初学者最常遇到的问题是IP被封；

原因很简单，在抓取信息时，一没有隐藏自己实际IP，二访问频率太快，给对方服务器造成压力。

代理IP
控制对同一站点的访问频率（要么让它sleep、要么让它抓别的站点）

最直接的解决办法是使用大量代理IP，保证IP被封时有替换IP可用。

02 容易被反爬kill？

Headers

通过设置headers将爬虫伪装成浏览器，现在大部分的网站不这样伪装一下根本爬不了。

  headers = {
        'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
    }

一般headers设置user-Agent即可，如果有的数据

是登陆后才能看到的话，还需要添加cookies参数

先登陆账号后，在浏览器的开发者工具中，拷贝

Cookies即可。

提问：如果不想让Cookie中携带自身账号内容怎么办？

答：可以利用浏览器的无痕窗口功能，进入网页再取Cookie即可。

这些参数都可以在浏览器的开发者工具中找到，知乎示例：

注意：如果要分享代码给别人的话，代码中的 cookie 数据一定要删掉，否则别人可以通过这个直接免密登陆你的账户。

需要登录？

对于需要登录的一般有以下几种处理方法：

直接模拟登录后的动作，利用cookie、携带用户信息等方式发起请求，绕过登录动作
机器人自动登录
直接使用webkit和js去操作登录

主要说一下前两种，工具：firefox+httpfox；

机器人自动登录：原理很简单，就是程序post_data真实用户信息发起请求。

至于最后能不能成功登录且获取登录后的信息，个人经验觉得看对方校验严格程度。

有些网站post_data有一些乱七八糟的数据值，无法分析清楚，虽然携带真实用户信息请求，但总是返回用户名和密码不一致，而有的简单就容易攻破。

03 请求出错？

1）爬取页面开始没有问题，爬到某个时刻异常报错？

如果是403错误，是被反爬抓到了。

解决方法：

设置headers，建一个user-agent池，每次用不同到user-agent访问，用来模拟不同浏览器访问页面
设置代理池，每次用不同的ip
设置延迟，time.sleep(random.randint(0,5))，改变抓取效率，防止被发现

2）ConnectionResetError问题

重连失败，看看header里面是不是Conection是不是设置的keep-alive，改成close。

3）ssl证书验证问题

如果有证书，就写上，没有就设置ssl为False（使用不同的库设置方法不一样，协程中是在请求里加上verify_ssl=False，requests是在请求里加上verify=False）

4）访问时间过长造成假死

设置timeout，在请求里加上timeout=10，防止请求时间太长使程序阻塞。

04 正则表达式不太会怎么办？

有些数据不能直接用，又需要提取关键数据，正则表达式不太会怎么办？

使用正则表达式处理字符串，用好了确实很厉害，但是门学起来麻烦还容易忘，对新手来说有点难度。

上面这种情况可以试试使用字符串自带的拼接，分割（split）等功能实现。

比如我获取到一个网址链接 html/2019-05/06 ，我需要从中提取出包含的年、月、日信息。

我可以这样：

url = 'html/2019-05/06'
# 先根据 / 分割，得到 group1
group1 = url.split('/')
# 分割完后，group1 = ["html","2019-05","06"]
day = group1[2]        # day = "06"

# 将 group1[1]，也就是 2019-05 进行分割，根据 - 分割成 group2
group2 = group1[1].split("-")
# 分割完成后，group2  = ["2019","05"]
year = group2[0]       # year = "2019"
month = group2[1]      # month = "05"

小小一个函数，用熟练后，还是能做不少事情的。

05 爬到的数据乱码问题

一般大家看到乱码，可能会觉得是代码有问题爬错东西了。其实不然，是编码的问题，解决方式也很简单。

程序中涉及到编码格式的地方有两处：一处是在发起请求后，对返回的内容进行解码；另一处是在保存文件时，设置编码格式。

分别来看看：

1）发起请求，获取网页内容阶段

一般的网站的编码格式都是 UTF-8，你系统的默认编码也是 UTF-8 时，也就是说你的默认编码方式和目标网站的编码方式一致时，即使不明确设置编码方式，也不会出问题。

但如果不一致，就会出现乱码，这也是为什么经常有 “明明在我电脑上运行是好的，为什么在你电脑上就乱码了” 这样的问题。

这种问题解决也很简单，只要在代码中设置一下 encoding 即可。

这里介绍一种方法：r.encoding = r.apparent_encoding

这个可以自动推测目标网站的编码格式，省的你自己去一个个设置（当然极少数情况下它可能会推测错误出现乱码，到时候你再手动去查看网页编码，手动设置吧）。

def fetchURL(url):
    headers = {
        'accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
    }

    r = requests.get(url,headers=headers)
    r.raise_for_status()
    # 这里设置编码格式
    r.encoding = r.apparent_encoding
    return r.text

2）保存文件时的编码错误

爬取过程中没问题，但是用 excel 打开保存好的 csv 文件时出现乱码（用记事本打开没问题）。

这个其实就是文件的编码方式和 Excel 的解码方式不一致导致的；

在 dataframe.to_csv 这句，参数里添加一个 encoding=‘utf_8_sig’，指定文件的编码格式，应该就可以解决了。

def writePage(urating):
    '''
        Function : To write the content of html into a local file
    '''
    import pandas as pd
    dataframe = pd.DataFrame(urating)
    dataframe.to_csv('filename.csv',encoding='utf_8_sig', mode='a', index=False, sep=',', header=False )

之前乱码的 csv 文件，可以用记事本打开，然后

点另存为，然后选择编码格式，ANSI ，unicode，

UTF-8 都可以，然后保存之后，再次用 excel

打开就是正常的了。

如果你不知道你的乱码是哪种问题，有一个简单的判断方法：

用记事本打开 csv 文件，如果正常显示，那么无误就是第二种情况，如果是乱码，那么很有可能是第一种情况。

保存文件这里补充一个问题：

为什么保存文件时候会报错 “FileNotFoundError：No such file or directory” ？

在保存文件时，如果路径下你要操作的文件不存在，它会自动创建一个文件，然后写入数据。

但是，如果是路径中的文件夹不存在，则不会自动创建，而是会报错。

以后看到这样的错误，不要慌，只是你的路径中没有对应的文件夹而已，缺哪个文件夹，自己手动创建好，再运行就好啦。

如果你想让代码自动创建文件夹，也很简单，只需要在保存文件前，执行这些代码即可。

import os
# 如果没有该文件夹，则自动生成
if not os.path.exists(path):
    os.makedirs(path)

06 整理的相关报错问题

1）类型错误：需要类似字节的对象，而不是字符串？

解决方案：str通过encode()方法可以编码为指定的bytes；

反过来，如果我们从网络或磁盘上读取了字节流，那么读到的数据就是bytes，要把bytes变为str，就需要用decode()方法。

2）UTF-8不能处理字节？

解决方法：在headers中加入Cookie即可输出正常的HTML。

3）‘ gbk ’不能处理‘ \xa0 ’ ？

解决思路：

with open('%s.html' % title, 'w', encoding='utf-8') as f:
    f.write(rep)

4）输出结果是字节类型，json对象无法正常显示？

解决：使用json.loads方法即可；

5）网址复制到py文件中，却变成了“乱码”？

url = ‘https://tieba.baidu.com/f?kw=%E8%8B%B1%E9%9B%84%E8%81%94%E7%9B%9F&ie=utf-8&pn=0’

解决方法：调用urllib.parse.unquote进行URL解码；

6）显示URL地址不规范？

分析URL时，我们一般从第二页开始分析，而不是第一页。

7）其他报错消息

① syntaxerror: invalid syntax语法错误：无效语法

② syntaxerror: unexpected EOF while parsing语法错误
多了无法解析的符号（检查是否多了或少了括号）

③ syntaxerror: invalid character in identifier语法错误
有无效标识符（检查中文符号）

④ indexerror: list index out of range索引错误
列表超出索引范围（检查列表是否为空）

⑤ typeerror: must be str, not int类型错误
数据不是正确的数据类型，比如字符串和数字直接拼接（检查数据类型）

⑥ indentationerror: expected an indented block缩进错误
检查代码的缩进是否正确

⑦ valueerror: substring not found值错误
输入的数据类型跟要求不符合

⑧ nameerror: name ‘a’ is not defined未初始化对象，变量没有被定义

⑨ attributeerror: ‘tuple’ object has no attribute 'remove’属性错误
该对象没有这个属性、方法（检查数据类型）