使用urllib和beautifulSoup实现爬虫抓取小说网站书名，解决BUG：NoneType object has no attribute 'find_all'

最新推荐文章于 2025-02-20 00:14:27 发布

重装系统20块谢谢

最新推荐文章于 2025-02-20 00:14:27 发布

阅读量1.3w

点赞数

分类专栏：爬虫 urllib BeautifulSoup

本文链接：https://blog.youkuaiyun.com/qq_37828633/article/details/80641431

版权

本文介绍如何使用Python的urllib库抓取小说网站的数据，并通过BeautifulSoup进行解析。在解析过程中，特别提到了一个常见错误：当对象为None时调用'find_all'方法会抛出AttributeError。解决方案是确保在调用该方法前对象已正确初始化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

首先找一个网站，例如

urlHTML='http://www.douban.com/tag/%E5%B0%8F%E8%AF%B4/?focus=book'

接下来利用urllib库抓取数据，保存数据到一个变量中

request_data=urllib.request.urlopen(urlHTML)

用beautifulSoup解析网页语法，并保存结果，注意此处第二个参数不能使用单引号，

否则会出现BUG NoneType object has no attribute 'find_all'

soup=BeautifulSoup(request_data,"html.parser")



字典定义筛选规则，使用bS库find方法抓取数据

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

重装系统20块谢谢

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

[Python从零到壹] 五.网络爬虫之BeautifulSoup基础语法万字详解

杨秀璋的专栏

11-08

1万+

欢迎大家来到“Python从零到壹”，在这里我将分享约200篇Python系列文章，带大家一起去学习和玩耍，看看Python这个有趣的世界。所有文章都将结合案例、代码和作者的经验讲解，真心想把自己近十年的编程经验分享给大家，希望对您有所帮助，文章中不足之处也请海涵。Python系列整体框架包括基础语法10篇、网络爬虫30篇、可视化分析10篇、机器学习20篇、大数据分析20篇、图像识别30篇、人工智能40篇、Python安全20篇、其他技巧10篇。您的关注、点赞和转发就是对秀璋最大的支持，知识无价人有情，希望

爬虫实战遇到的问题及解决汇总 / 爬虫原理介绍

Quest_sec的博客

03-14

2786

如何写一个爬虫程序爬取豆瓣内容？

1 条评论您还未登录，请先登录后发表或查看评论

使用python爬虫，requests(夹带BeautifulSoup的使用)爬取网络小说

kjadhgfiuao的博客

11-06

636

使用python爬虫，requests(夹带BeautifulSoup的使用)爬取网络小说由于本人也是初学者，算是小白一枚，这里跟大家分享一下爬取网站上的小说的过程。第一步我们需要导入我们需要的模块，比如requests,BeautifulSoup,还有正则模块re。 import re import requests from bs4 import BeautifulSoup 然后我们需要找到我们需要爬取的网站，这里我选用了这个网站：* http://www.tianxiabachang.cn 接

解决python爬虫时遇到AttributeError: ‘NoneType‘ object has no attribute ‘find_all‘

小朱小朱绝不认输的博客

09-16

8万+

最近在练习学到的爬虫实例遇到AttributeError: ‘NoneType’ object has no attribute 'find_all’的错误。爬虫要求如下：任务描述：https://movie.douban.com/cinema/later/beijing/ 这个页面描述了北京最近上映的电影，你能否通过 Python 得到这些电影的名称、上映时间和海报呢？这个页面的海报是缩小版的，我希望你能从具体的电影描述页面中抓取到海报。在运行老师给的代码如下： import requests fr

蓝易云 - 遇到：AttributeError: ‘NoneType‘ object has no attribute ‘find_all‘ 错误应该如何解决

最新发布

高性价比服务器就选：蓝易云

02-20

205

总结："AttributeError: 'NoneType' object has no attribute 'find_all'"错误是因为代码在空对象上尝试调用"find_all"方法。"AttributeError: 'NoneType' object has no attribute 'find_all'"错误通常是因为代码中尝试在一个空对象上调用了"find_all"方法。要解决这个错误，你需要查找在代码中出现None的地方，并确保在使用对象之前对其进行了有效的赋值或初始化。

使用BeautifulSoup的soup.find()时出现错误AttributeError NoneType object has no attribute

a_cherry_blossoms的博客

06-04

6911

报错：AttributeError: 'NoneType' object has no attribute1.问题2.原因及分析2.1原因2.2分析我琢磨着可能是因为class值中的最后那个“空格”有问题。所以我就将我代码中的class值中的空格去掉了。3.总结就是你使用的find没有找到你需要的那个标签。问题的原因之一可能就是我上面所说的，然后动动脑筋，这里改改，那里改改，兴许就能像我这样把问题给改没了呢！ 1.问题使用BeautifulSoup的soup.find(“div”,class_="***"

使用BeautifulSoup，爬取网站小说名，并打印出来

野猫炫的博客

11-10

394

自动化测试基础实例爬取网站小说名，并打印出来 import requests from bs4 import BeautifulSoup r=requests.get('http://www.zongheng.com/rank/details.html?rt=5&d=1') soup=BeautifulSoup(r.text,"html5lib") a = soup.find_all('div',class_="rank_d_b_name") for i in a: print

Python3 Learning（五）BeautifulSoup爬取网页小说

我知道你很急,但是路要一步步走

01-25

340

# -*- coding:UTF-8 -*- from urllib import request from bs4 import BeautifulSoup if __name__ == "__main__": # 访问网址url download_url = 'https://www.qu.la/book/2125/10553318.html' # 请求访问者的信息...

Python爬虫 object has no attribute ‘title’ 问题解决

weixin_44038564的博客

11-01

4603

Python爬虫 object has no attribute ‘title’ 问题解决在学习python爬虫时，想要获取title信息，遇到object has no attribute ‘title’ 的问题，仔细看并没有标点和拼写错误原代码 from urllib.request import urlopen from bs4 import BeautifulSoup as bf html=urlopen("http://www.baidu.com/") obj=bf(html.read()

爬虫项目实战中遇到‘NoneType‘ object has no attribute ‘children‘错误

g11458的博客

07-17

846

爬虫项目实战中遇到'NoneType' object has no attribute 'children'错误

爬虫报错AttributeError: ‘NoneType‘ object has no attribute ‘find_all‘

FHIceng的博客

01-10

599

经测试，无论哪级div都可以使用。上述代码为最高一级div，以下代码为最低一级div，效果相同未报错。总结：使用BeautifulSoup查找元素有误。class标签错写为id。

多线程爬虫出现报错AttributeError: ‘NoneType’ object has no attribute ‘xpath’

12-21

多线程爬虫出现报错AttributeError: ‘NoneType’ object has no attribute ‘xpath’一、前言二、问题三、思考和解决问题四、运行效果一、前言 mark一下，本技术小白的第一篇优快云博客！最近在捣鼓爬虫，看的是机械工业出版社的《从零开始学Python网络爬虫》。这书吧，一言难尽，优点是案例比较多，说的也还算清楚，但是槽点更多：1、较多低级笔误；2、基础知识一笔带过，简单得不能再简单，对Python基础不好的人不友好；3、代码分析部分，相同的代码反复啰嗦解释多次，而一些该解释的新代码却只字不提；4、这是最重要的一点，但也不全是本书的锅。就是书中

完美解决爬虫时遇到的‘NoneType‘ object has no attribute ‘find‘或‘NoneType‘ object has no attribute ‘find_all‘问题

热门推荐

Wzp的博客

11-26

11万+

在网上看到了一个爬虫教程，就跟着学了起来，出现了点问题：‘NoneType’ object has no attribute ‘find’；问题说明我是一个刚入门的小白，刚研究了点爬虫，我觉得这个问题其实就是没有找到相应的html element（网页元素），所以没有相应的元素方法，所以报错“no attribute”。只要我们准确的找到相应的元素，就可以用BeautifulSoup中的方...

python3 nonetypefind_python-使用BeautifulSoup进行Web抓取返回NoneType

weixin_39928106的博客

12-22

370

我正在尝试使用BeautifulSoup抓取一个网站,并编写了以下代码：import requestsfrom bs4 import BeautifulSouppage = requests.get("https://gematsu.com/tag/media-create-sales")soup = BeautifulSoup(page.text, 'html.parser')try:conte...

bs4.beautiful soup 爬虫报错none type_P10-11《Python爬虫技术5天速成…》学习过程笔记8（超详细记录）...

weixin_35235724的博客

12-20

156

对应原视频第10集元组字典(上)&第11集字典(下)_集合 & 数据结构小结：本篇概要：(这两集的学习没遇到什么困难，都是知识点的学习了解，花时间多看视频就好，下面的内容基本只是概要。)P10--元组里只有一个元素时一定要在元素后面加一个英文逗号P11--数据结构小结--元组里只有一个元素时一定要在元素后面加一个英文逗号P10元组 Tuple第二点，比如tuple里边含有...

Python手记-10：Beautiful Soup爬取豆瓣经典书单

成屿的专栏

05-11

1013

1.Beautiful Soup简介 Beautiful Soup名字来源于《爱丽丝梦游仙境》，是一个可以从HTML或XML文件中提取数据的Python库，当前版本4.4.0，Beautiful Soup 3目前已经停止开发，官方推荐使用Beautiful Soup 4（简称BS4），官文指路：https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/，不得不说Beautiful Soup官文的可读性秒爆lxml的。 Beautiful Soup最主要的功能是.

Python爬虫 BeautifulSoup成功解决AttributeError: ResultSet object has no attribute ‘text‘

weixin_44991673的博客

12-12

5392

import requests from bs4 import BeautifulSoup res = requests.get('https://wordpress-edu-3autumn.localprod.oc.forchange.cn/all-about-the-future_04/') # 把网页解析为BeautifulSoup对象 soup = BeautifulSoup(res.text,'html.parser') items=soup.find_all(class_='comment-

BeautifulSoup类用法总结

Yang's Blog

07-06

544

BeautifulSoup可以用来解析Requests库爬取的html代码一、BeautifulSoup的基本使用 import requests from bs4 import BeautifulSoup as bs def get_page(url): try: header = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrom.

解决AttributeError: ‘NoneType‘ object has no attribute ‘find_all‘

牛肉胡辣汤

10-12

7096

解决AttributeError: 'NoneType' object has no attribute 'find_all' 在Python编程中，经常会遇到各种各样的错误。其中，AttributeError: 'NoneType' object has no attribute 'find_all' 是一个常见的错误，特别是在使用BeautifulSoup库进行网页解析时经常会遇到。本文将为大家介绍这个错误的原因和解决方法。首先，让我们了解一下这个错误的含义。

python爬虫抓取微信公众号

01-11

### 使用Python实现微信公众号内容的网络爬虫为了构建一个能够抓取微信公众号内容的网络爬虫，可以采用多种方法和技术栈组合。考虑到目标网站可能具有复杂的JavaScript渲染机制，`Selenium`是一个不错的选择[^3]。 #### 导入必要的库首先安装并导入所需的库： ```bash pip install selenium requests lxml beautifulsoup4 webdriver_manager ``` 接着，在脚本中引入这些模块： ```python from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.chrome.service import Service as ChromeService from webdriver_manager.chrome import ChromeDriverManager import time ``` #### 初始化浏览器实例创建一个函数用于初始化Chrome WebDriver实例，并设置一些基本参数： ```python def init_driver(): options = webdriver.ChromeOptions() options.add_argument('--headless') # 设置无头模式运行 driver = webdriver.Chrome(service=ChromeService(ChromeDriverManager().install()), options=options) return driver ``` #### 访问页面并获取数据定义另一个函数负责访问指定URL以及提取所需的数据： ```python def fetch_wechat_articles(driver, public_account_name): base_url = "https://weixin.sogou.com/weixin" params = { 'query': public_account_name, '_sug_type_': '', 'sut': '', 'lkt': '', 'page': 1, 'ie': 'utf8', 'type': 1 } search_query = f"{base_url}?{urllib.parse.urlencode(params)}" driver.get(search_query) try: element = WebDriverWait(driver, 10).until( EC.presence_of_element_located((By.CLASS_NAME, "news-list")) ) articles = [] items = element.find_elements(By.CSS_SELECTOR, ".txt-box h3 a") for item in items[:5]: # 只取前五篇文章链接为例 title = item.text.strip() link = item.get_attribute('href') articles.append({"title": title, "link": link}) return articles except Exception as e: print(f"Error occurred while fetching articles: {e}") return None ``` 此部分代码通过模拟搜索引擎查询特定公众号名称的方式找到对应的文章列表页，并从中解析出每篇推文的具体链接地址。 #### 处理HTML实体字符转义问题当处理从网页上抓取下来的文本时，可能会遇到HTML实体编码的问题。对于这个问题，建议使用`html`标准库中的unescape方法替代已经过时的方法[^4]: ```python import html escaped_text = "<p>This is an example.</p>" unescaped_text = html.unescape(escaped_text) print(unescaped_text) # 输出：<p>This is an example.</p> ``` 以上就是利用Python编写的简单版微信公众号文章抓取器的主要组成部分。需要注意的是实际开发过程中还需要考虑更多细节如异常处理、反爬策略应对等。