Python学习笔记：学习爬虫时遇到的问题TypeError: cannot use a string pattern on a bytes-like object 与解决办法

最新推荐文章于 2025-07-14 17:58:26 发布
原创 最新推荐文章于 2025-07-14 17:58:26 发布 · 4.5w 阅读 · 34 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了一个简单的Python爬虫示例，展示了如何从指定网页抓取图片，并保存到本地。该示例使用Python 3.x版本编写，特别注意了与Python 2.x版本之间的差异。
#!/usr/python3
import re
import urllib.request
def gethtml(url):
    page=urllib.request.urlopen(url)
    html=page.read()
    return html
def getimg(html):
    reg = r'src="(.*?\.jpg)"'
    img=re.compile(reg)
    html=html.decode('utf-8')#python3
    imglist=re.findall(img,html)
    x = 0
    for imgurl in imglist:
        urllib.request.urlretrieve(imgurl,'%s.jpg'%x)
        x = x+1
html=gethtml("http://news.ifeng.com/a/20161115/50258273_0.shtml")

print(getimg(html))

代码中红色字体部分均为Python3.0及以上版本在学到爬虫是需要注意的（本人以前用的是python2.7的 现在使用Python3.5.2）  如果没有这些红色的代码的话可能会出现一下情况

1.TypeError: cannot use a string pattern on a bytes-like object  这种情况解决方法就是加上html=html.decode('utf-8')#python3这句代码

2.AttributeError: module 'urllib' has no attribute 'urlopen'这种情况的解决办法就是将urllib改成urllib.request就行了


lxh03141303
关注
Python 报错TypeError: expected string or bytes-like object
北辰
05-07 1万+
问题描述：Python 中报错TypeError: expected string or bytes-like object 解决方法：根据报错上方的提示信息，大体猜测到可能出错的具体地方。出现该报错一般为数据类型不匹配造成的，可以通过print(type(object))来查当前的数据类型，式中object为要查询的对象。 print(type(xml_data.xpath('/html/head/script[5]/text()'))) 输出结果： <class 'list'>
生成测试报告时遇到问题TypeError: a bytes-like object is required, not ‘str‘
Teresa_lqs的博客
08-09 1188
场景：使用python做自动化测试，用HTMLTestRunner生成自动化测试报告。
一劳永逸解决：TypeError: cannot use a string pattern on a bytes-like object
热门推荐
不随缘的随心，能改变的随性
04-14 4万+
TypeError: cannot use a string pattern on a bytes-like object最近写代码，python2和python3之间切换，难免会碰到一些问题，有些方法比如re模块的findall要求传入的是字符串格式的参数，urllib.request.urlopen(url).read()返回的是bytes类型（这个是python3中才有的类型，所以很多pyth
TypeError: cannot use a string pattern on a bytes-like object
didenglei8217的博客
06-02 1021
一劳永逸解决：TypeError: cannot use a string pattern on a bytes-like object TypeError: cannot use a string pattern on a bytes-like object python2和python3之间切换，难免会碰到一些问题，有些方法比如re模块的findall要求传入...
Python中使用Re模块TypeError: cannot use a string pattern on a bytes-like object 解决办法
喜欢专研
07-14 844
由上面红色的字体可以看出，使用python中的re模块匹配正则表达式的时候，填入的参数是一个对象，而不是一个字符串。正则表达式匹配需要字符串。并且报错已经成功解决。传递参数的时候应该传递字符串类型，实现传递为对象类型。使用str()函数将对象转化为字符串类型的。
python3学习（5）：在网站地图爬虫时的cannot use a string pattern on a bytes-like object 问题的解决方法
李松柏--的博客
06-29 701
一、python3里的 urllib2 已经没有了，改为了 urllbi.request，因此，直接导入 import urllib.request 即可。二、必须对正则表达式里的引用变量进行格式变换  .decode('utf-8')，否则会报错说 不能在一个字节类的对象上使用字符串格式。如下代码所示。### 一、 网站地图爬虫，控制用户代理的设定，可捕获异常、重试下载并设置用户代理。wswp:...
cannot use a string pattern on a bytes-like object
stay hungry ! stay foolish!
09-11 3649
            cannot use a string pattern on a bytes-like object   转载：https://blog.youkuaiyun.com/u013066244/article/details/53120731  这个错误我是发生在以下代码 re.findall(pattern, data) 这个时候如何data的数据类型为bytes，时，就会包这...
python3.6抓取出现TypeError: cannot use a string pattern on a bytes-like object
weixin_33735077的博客
02-08 279
import reimport requestsfrom requests.exceptions import RequestExceptionimport jsondef get_one_page(url):try: response = requests.get(url)if response.status_code == 200:return re...
ubuntu20.04下：TypeError: cannot use a string pattern on a bytes-like object解决方案
cece_slam 的博客
08-29 2231
Ubuntu20.04 ROS版本：noetic 出错进程：察看坐标系树形图 错误代码：TypeError: cannot use a string pattern on a bytes-like object 猜想解决办法：数据类型转换 尚未解决：因为没有找到该文件的头文件，无法对其进行修改 解决后会公布在此文章评论下 1############################################################## 1############################
Ubuntu20.04使用ROS运行tf view_frames工具出现TypeError: cannot use a string pattern on a bytes-like object
kasing116的博客
08-13 664
最近在学习古月居老师的《ROS入门21讲》，在学习tf这一章时想用tf view_frames这个工具来查看坐标之间的关系，但是出现TypeError: cannot use a string pattern on a bytes-like object报错，(第一行命令注意根据自己ros版本来，我自己的ros版本是noetic。
TypeError: int() argument must be a string, a bytes-like object or a number, not ‘tuple’
12-20
在调整网络时遇到一个问题： File "D:\python\lib\site-packages\tensorflow_core\python\keras\engine\base_layer.py", line 529, in add_weight aggregation=aggregation) File "D:\python\lib\site-packages\...
解决python报错“cannot use a string pattern on a bytes-like object”
qq_19313495的博客
10-12 3503
遇到“cannot use a string pattern on a bytes-like object”报错如何解决，看这个就够了
爬虫python3:TypeError: cannot use a string pattern on a bytes-like object
weixin_30888413的博客
12-27 135
import re from common_p3 import download def crawl_sitemap(url): sitemap = download(url) links = re.findall('<loc>(.*?)</loc>',sitemap) print('links=',links) for ...
网站地图爬虫章节遇到 TypeError: cannot use a string pattern on a bytes-like object
aa304052862的博客
03-05 490
错误显示为  TypeError: cannot use a string pattern on a bytes-like object 错误发生在  links=re.findall('(.*?)',sitemap) 解决办法 把   html=urllib.request.urlopen(request).read()改为html=urllib.request.urlopen(reques
Python正则错误TypeError: cannot use a string pattern on a bytes-like object
风之羽
03-07 308
routeros 7.18.1 版本使用以上url升级。re只能操作str，因此需要先解码。decode编码不一定是utf-8。
cannot use a string pattern on a bytes-like object（bytes与str互转）
墨痕诉清风的博客
07-22 1200
python2转python3遇到的问题 看源码： buff = proc.communicate() stritem = buff[0] str_list = re.split(r' +|\n', stritem) 运行出现错误： cannot use a string pattern on a bytes-like object 这是因为stritem = buff[0] ...
python TypeError: cannot use a string pattern on a bytes-like object
最新发布
07-31
<think>首先，用户的问题是关于Python中的TypeError：cannot use a string pattern on a bytes-like object。我需要提供一个解决方案。 回顾用户提供的引用： - 引用[1] 提到了UnicodeDecodeError、SettingWithCopyWarning和TypeError: cannot use a string pattern on a bytes-like object。 - 引用[2] 讨论了Python的类型检查。 - 引用[3] 显示了具体的错误代码：TypeError: can&#39;t concat str to bytes 和 TypeError: cannot use a string pattern on a bytes-like object，并给出了一个代码片段。 用户的问题具体是：TypeError cannot use a string pattern on a bytes-like object 的解决方案。 这个错误通常发生在尝试在字节对象上使用字符串模式时，比如在正则表达式操作中。字节对象是Python中的bytes类型，而字符串模式是str类型。它们不兼容。 解决方案的核心是确保数据类型匹配。要么将字节对象解码为字符串，要么将字符串模式编码为字节，但通常推荐使用字符串来处理文本。 步骤： 1. 理解错误：当使用正则表达式函数如re.search()或re.match()时，如果输入是bytes类型而不是str类型，就会抛出这个错误。 2. 解决方法： - 将字节对象解码为字符串：使用.decode()方法，如.decode(&#39;utf-8&#39;)。 - 或者，使用字节模式：在正则表达式中使用字节模式，如b&#39;pattern&#39;。 - 最佳实践是使用字符串来处理文本数据。 从引用[3]的代码片段中： ```python txt = e.title.encode(&#39;utf8&#39;) + extractPlainText(e.description.encode(&#39;utf8&#39;)) ``` 这里，e.title.encode(&#39;utf8&#39;) 和 e.description.encode(&#39;utf8&#39;) 都返回字节对象。然后尝试连接它们，但extractPlainText可能返回字符串，导致类型不匹配错误。错误是TypeError: can&#39;t concat str to bytes，这类似于问题。 在用户的具体错误中，是“cannot use a string pattern on a bytes-like object”，这可能发生在后续操作中，比如使用正则表达式。 所以，解决方案： - 确保所有文本数据在操作前是统一类型：要么全部是str，要么全部是bytes。 - 推荐使用str类型，因为Python 3默认处理文本为字符串。 例如： - 如果输入是字节，使用.decode(&#39;utf-8&#39;) 转换为字符串。 - 在正则表达式操作中，确保模式是字符串，输入也是字符串。 结构化回答： - 解释错误原因。 - 提供解决方案步骤。 - 给出代码示例。 - 生成相关问题。 系统级指令： - 使用$...$ 和 $$...$$ 格式。 - 用中文回答。 - 生成相关问题。 - 在引用末尾添加引用标识。 用户没有直接引用任何内容，但问题中提到了引用[1]、[2]、[3]。我应该自然地引用它们，如果相关的话。 在回答中： - 提到错误原因时，可以引用[1]或[3]。 - 解决方案时，参考最佳实践。 最终回答结构： 1. 解释错误。 2. 提供解决方案。 3. 代码示例。 4. 生成相关问题。</think>### Python TypeError: cannot use a string pattern on a bytes-like object 解决方案 这个错误通常发生在尝试对字节对象（`bytes` 类型）使用字符串模式（如正则表达式）时。Python 严格区分文本（`str`）和二进制数据（`bytes`），当两者混用时会导致类型不匹配。以下是逐步解决方案： #### 错误原因分析 - **核心问题**：代码中对类似 `bytes` 的对象（如文件读取的二进制数据）应用了字符串操作（如 `re.search()` 或字符串连接），但 `bytes` 和 `str` 类型在 Python 3 中不兼容。 - **常见场景**： - 使用正则表达式（如 `re` 模块）处理未解码的二进制数据。 - 文件读取时未指定编码，返回 `bytes` 而非字符串。 - 字符串与字节对象混合拼接（如 `str + bytes`），这在引用[3]的代码中已出现：`TypeError: can&#39;t concat str to bytes`[^3]。 - 数学表达：设输入数据为 $D$，若 $D \in \text{bytes}$ 但被当作 $\text{str}$ 处理，则触发错误：$\text{TypeError}(D_{\text{bytes}}, \text{pattern}_{\text{str}})$。 #### 解决方案步骤 1. **统一数据类型**： - 如果数据源是字节对象（如文件或网络请求），优先解码为字符串： ```python # 将 bytes 解码为 str（推荐使用 UTF-8） byte_data = b&#39;Hello World&#39; # 示例字节对象 string_data = byte_data.decode(&#39;utf-8&#39;) # 转换为字符串 ``` - 或者在读取文件时直接指定编码： ```python with open(&#39;file.txt&#39;, &#39;r&#39;, encoding=&#39;utf-8&#39;) as f: # 使用 &#39;r&#39; 模式自动解码 text = f.read() # 直接得到 str 类型 ``` 2. **检查正则表达式操作**： - 确保正则模式和应用对象类型一致： ```python import re # 错误示例：对 bytes 使用字符串模式 byte_data = b&#39;Python error&#39; # re.search(&#39;error&#39;, byte_data) # 会抛出 TypeError # 正确方法1：解码为字符串后操作 string_data = byte_data.decode(&#39;utf-8&#39;) match = re.search(&#39;error&#39;, string_data) # 正常执行 # 正确方法2：使用字节模式（不推荐，除非处理纯二进制数据） match = re.search(b&#39;error&#39;, byte_data) # 模式前加 &#39;b&#39; 表示字节 ``` 3. **修复混合类型操作**： - 避免直接拼接 `str` 和 `bytes`（如引用[3]中的问题）[^3]： ```python # 错误代码示例（来自引用[3]） # txt = e.title.encode(&#39;utf8&#39;) + extractPlainText(e.description.encode(&#39;utf8&#39;)) # 导致 TypeError # 修复：统一为字符串类型 title_str = e.title # 假设 e.title 已是字符串 desc_str = extractPlainText(e.description) # 确保返回字符串 txt = title_str + desc_str # 正常拼接 ``` 4. **类型检查与转换**： - 使用 `isinstance()` 验证类型： ```python data = get_data() # 可能是 bytes 或 str if isinstance(data, bytes): data = data.decode(&#39;utf-8&#39;) # 转换为字符串 # 现在可安全使用字符串操作 ``` - Python 3.6+ 支持类型提示（参考引用[2]），帮助提前发现问题[^2]： ```python def process_text(text: str) -> None: # 明确要求 str 类型 import re re.search(&#39;pattern&#39;, text) ``` #### 完整示例 假设从文件读取数据并搜索模式： ```python import re # 错误示例（可能引发 TypeError） with open(&#39;data.bin&#39;, &#39;rb&#39;) as f: # &#39;rb&#39; 模式返回 bytes data = f.read() # re.search(&#39;error&#39;, data) # 会报错 # 正确修复 with open(&#39;data.bin&#39;, &#39;r&#39;, encoding=&#39;utf-8&#39;) as f: # 指定编码直接解码 data_str = f.read() # 得到 str 类型 match = re.search(&#39;error&#39;, data_str) # 正常执行 print(match.group() if match else "未找到") ``` #### 预防措施 - **优先使用字符串**：在文本处理中始终使用 `str` 类型，避免不必要的编码/解码。 - **明确文件模式**：读取文本文件时用 `&#39;r&#39;` 而非 `&#39;rb&#39;`，并指定 `encoding` 参数。 - **错误处理**：添加 `try-except` 捕获潜在类型错误： ```python try: re.search(pattern, data) except TypeError as e: if "bytes-like object" in str(e): data = data.decode(&#39;utf-8&#39;) # 自动转换后重试 re.search(pattern, data) ``` 通过统一数据类型（推荐使用字符串），可彻底解决此问题[^1][^3]。
评论 14
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值