【Python爬虫】用beautifulsoup4库遇到的错误及处理

已于 2022-04-25 14:05:47 修改
阅读量1.9k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大橙子学爬虫 文章标签： Beautifulsoup 爬虫 问题
于 2019-05-05 23:59:45 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/chengyikang20/article/details/89857690
博客汇总了使用BeautifulSoup进行网页爬取时，使用CSS选择器遇到的问题及处理方法。一是报错 NotImplementedError，需将nth-child改为nth-of-type；二是打印结果为[]，要把路径改为.newsTable > tbody > t > td并去掉所有子节点。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

我是一个甜甜的大橙子🍊，欢迎关注✉️！
我相信技术的力量💪
努力将所学分享给大家😎
你的点赞❤️分享🚀收藏📖就是对我最大的鼓励！

在这里对使用beautifulsoup时遇到的问题进行汇总。

问题：爬取网页时使用CSS选择器，代码如下，报错 NotImplementedError: Only the following pseudo-classes are implemented: nth-of-type.
title = soup.select('.newsTable > tbody:nth-child(1) > tr:nth-child(1) > td:nth-child(1)')

处理：nth-child改为nth-of-type

问题：爬取网页时使用CSS选择器，代码如下，打印出来是[]。
title = soup.select('.newsTable > tbody:nth-of-type(1) > tr:nth-of-type(1) > td:nth-of-type(1)')

处理：路径改为 .newsTable > tbody > t > td。要把所有子节点（nth-child）去掉。还有div的前后都要有空格，不然报错。

python3.7导入BeautifulSoup报错
一个土帽儿
05-15 1547
python3.7导入BeautifulSoup报错之前使用python2.7时，PyCharm用快捷键Alt+Enter就可以轻松导入BeautifulSoup；但是将项目解释器变为python3.7后，需要导入BeautifulSoup4python2.7导入BeautifulSoup将pycharm的项目解释器由python2.7更换为python3.7，BeautifulSoup包报错 之...
Python进阶(十九)Python3安装第三方爬虫库BeautifulSoup4_python3 beautifulsoup
最新发布
2401_84139049的博客
05-06 930
使用第三方库BeautifulSoup，用于从html或xml中提取数据自己实践后，发现出现了错误，如下所示：以上错误提示是说没有发现名为“bs4”的模块。即“bs4”模块未安装。进入Python安装目录，以作者IDE为例，控制台提示第三方库BeautifulSoup4安装成功！回到之前的程序中，会发现IntelJ已经检测到第三方库BS4的安装，已自更新项目，此时项目恢复正常，无错误提示。一、Python所有方向的学习路线。
Python爬虫包BeautifulSoup异常处理（二）
09-20
主要为大家详细介绍了Python爬虫包BeautifulSoup的异常处理，具有一定的参考价值，感兴趣的朋友可以参考一下
【Python】运行py文件安装“beautifulsoup4“,“lxml“,“requests“模块时错误
Le vent se lève, il faut tenter de vivre
06-14 185
运行py文件安装"beautifulsoup4","lxml","requests"模块时错误
Python BeautifulSoup库 致命错误！！！
github_37941957的博客
03-26 365
Python BeautifulSoup库 致命错误！！！ 不多BB，今天工作需要看了下python的 BeautifulSoup库。大致功能是想读取一个html文件。并修改其中的一些内容。方式也很简单。大致伪代码： with open("test.html", encoding="utf-8") as f: html_str = f.read() html_soup = BeautifulSoup(html_str, "html.parser") html_soup.body.div.decom
BeautifulSoup报错
gbbacqkl的博客
11-26 506
1.通过cmd命令进入到BeautifulSoup4目录，先执行python setup.py build，然后再执行python setup.py install,即可安装BeautifulSoup4 2.由于本人安装的是Python3.6版本，在使用from bs4 import \bs4\_ _init_ _.py,line 53报错，XXX\bs4\_ _init_ _.py,line...
Python爬虫库BeautifulSoup的介绍与简单使用实例
01-20
BeautifulSoup库是灵活又方便的网页解析库，处理高效，支持多种解析器。利用它不用编写正则表达式即可方便地实现网页信息的提取。 Python常用解析库 解析器 使用方法 优势 劣势 Python标准库 BeautifulSoup...
Python爬虫之BeautifulSoup库
12-22
所以我们可以使用BeautifulSoup库，这个库借助网页的结构和属性等特性来解析网页，十分方便。它提供了许多种不同的API，可以实现不同标签不同属性的选择。以下是BeautifulSoup的优点： BeautifulSoup提供一些简单的...
python报错cannot import name ‘BeautifulSoup‘ from ‘bs4‘
皮小孩的博客
12-05 1万+
项目场景： python爬虫 问题描述： 我在写python爬虫的时候出现报错：cannot import name ‘BeautifulSoup’ from 'bs4’ 下面是我的测试代码： from bs4 import BeautifulSoup hello='<p>hello</p>' soup=BeautifulSoup(hello,"html.parser") print(soup) 于是我上网找答案，网上有两种解决方案： 1、检查自己脚本文件的命名是否命名成了bs4.
Python 使用 BeautifulSoup bs4 时 nth-child(6) 报错:
weixin_42544006的博客
03-11 1717
报错: 'Only the following pseudo-classes are implemented: nth-of-type.') NotImplementedError: Only the following pseudo-classes are implemented: nth-of-type. 解决办法: nth-child 改为 nth-of-type from ...
BeautifulSoup在使用过程中遇到问题
别管我、我还能吃
08-14 435
Python 通过soup.find_all()得到的结果无法join 在使用soup.find_all()时发现，得到的结果无法使用类似' '.join()的代码进行处理，具体错误表现为： TypeError: sequence item 0: expected string, Tag found TypeError: sequence item 0: expected string, i...
python异常包_Python爬虫包BeautifulSoup异常处理（二）
weixin_39585761的博客
11-28 115
面对网络不稳定，页面更新等问题，很可能出现程序异常的问题，所以我们要对程序进行一些异常处理。大家可能觉得处理异常是一个比较麻烦的活，但在面对复杂网页和任务的时候，无疑成为一个很好的代码习惯。网页‘404'、‘500'等问题try:html = urlopen('http://www.pmcaff.com/2221')except HTTPError as e:print(e)返回的是空网页if h...
使用pip安装beautifulsoup4时报错
末将的博客
08-31 325
问题描述: 解决方案: 把beautifulsoup4改成bs4
beautifulsoup4导入报错解决
AnthonyStark的博客
02-03 6896
初学爬虫，遇到BeautifulSoup4导入的一些问题，多方搜索发现如下解决方法（参考自优快云博主 @一只树懒）： 版本：python 3.6.1 出问题的步骤：from bs4 import BeautifulSoup 报错，检查安装路径下site-package文件夹下的bs4并没有BeautifulSoup包。 解决方法：在网上重新下载BeautifulSoup（感谢 @一只树懒...
使用BeautifulSoup读取网页时发生错误的处理方法
007的博客
09-25 1万+
刚开始学习BeautifulSoup在读取网页后解析网页内容时发生错误,先上一段运行代码: #!/usr/bin/python # -*- coding: UTF-8 -*- from bs4 import BeautifulSoup from urllib2 import urlopen WebSite='http://www.weather.com.cn/weather/101010100...
安装python包 beautifulsoup4 报错的终极解决方案，whl解析。
Ai聊天导师的博客
06-10 7033
安装各种 python 包都报错，一般的原因是公司内网不通，或者因为该安装包所依赖的一些包是在外网，连不通。网络原因导致pip install xxx 不成功。请大家记住这个官网：https://pypi.org/ 在这里找到 whl 文件，然后下载安装就行，缺什么下载什么。但是用whl也不是一定行，因为你想要安装的包，可能依赖了一些没法自动下载的包。首先可以尝试代理，当然，前提是公司确实有代理可用，问一下老同事有没有。这个时候，再次手动先下载安装这些包，然后安装就可以成功了。
BeautifulSoup4的使用问题：__init__() got an unexpected keyword argument 'strict'
lc451574367的博客
10-28 6784
    在写爬虫的时候遇到了__init__() got an unexpected keyword argument 'strict'错误，在网上找了一下，大部分是说版本不兼容的问题，所以搬运了一下     python3 安装 Beautifulsoup4结果发现版本不兼容的问题解决 一、安装beautifulsoup4-4.5.1      去官网，BeautifulSoup4源码...
NotImplementedError: Only the following pseudo-classes are implemented: nth-of-type.
zb0567的专栏
10-13 2596
原因：解释版本不同 解决方法：nth-child(2)更改为  nth-of-type(2) 问题解决
BeautifulSoup不能正确解析或找不到特定标签的解决方案
热门推荐
大屁孩的博客
06-18 1万+
近期在使用BeautifulSoup对网页进行解析，想要获取网页的数据，如下代码： soup = BeautifulSoup( resp.text, 'html.parser' ) 结果发现根据特定的id找不到对应那个标签，还出现找到了标签，但是标签结构破坏的情况，比如下面这个例子： 这是网页内容，我要循环每个tr标签，得到th里的文本，关键代码如下： 最终输入出的结果为： 可以看到前面输...
Python网络爬虫利器BeautifulSoup4库使用指南
资源摘要信息: "bs4_beautifulsoup4.zip是一个包含了Python第三方库BeautifulSoup4的压缩包。BeautifulSoup4是Python编程语言中用于网络爬虫和解析HTML和XML文件的强大库。它允许开发者快速从网页中提取所需的数据，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

一个甜甜的大橙子

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值