BeautifulSoup4 UserWarning

最新推荐文章于 2021-06-28 10:13:28 发布
最新推荐文章于 2021-06-28 10:13:28 发布
阅读量1.5w 收藏 7
点赞数 5
CC 4.0 BY-SA版权
分类专栏： Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/ace_fei/article/details/50466584
本文介绍了解决使用BeautifulSoup时出现的警告方法，并提供了不同解析器的使用方式及其优缺点对比，帮助开发者选择合适的HTML解析器。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

错误描述：

/opt/ActivePython-2.7/lib/python2.7/site-packages/bs4/__init__.py:166: UserWarning: No parser was explicitly specified, so I'm using the best available HTML parser for this system ("lxml"). This usually isn't a problem, but if you run this code on another system, or in a different virtual environment, it may use a different parser and behave differently.



To get rid of this warning, change this:


 BeautifulSoup([your markup])


to this:


 BeautifulSoup([your markup], "lxml")


  markup_type=markup_type))


解决：

初始化时，加上解析器类型，常用解析器如下：

解析器 使用方法 优势 劣势
Python标准库 BeautifulSoup(markup, "html.parser")
  • Python的内置标准库
  • 执行速度适中
  • 文档容错能力强
  • Python 2.7.3 or 3.2.2)前 的版本中文档容错能力差
lxml HTML 解析器 BeautifulSoup(markup, "lxml")
  • 速度快
  • 文档容错能力强
  • 需要安装C语言库
lxml XML 解析器

BeautifulSoup(markup, ["lxml", "xml"])

BeautifulSoup(markup, "xml")
  • 速度快
  • 唯一支持XML的解析器
  • 需要安装C语言库
html5lib BeautifulSoup(markup, "html5lib")
  • 最好的容错性
  • 以浏览器的方式解析文档
  • 生成HTML5格式的文档
  • 速度慢
  • 不依赖外部扩展

（八）空气质量指数计算6.0-----beautifulsoup4解析处理html
MaYuHuaw的博客
09-12 274
案例描述 为了能有效地提取并利用网络信息并工作提高效率，出现了网络爬虫 利用网络爬虫实时获取城市的空气质量 • 高效地解析和处理HTML，beautifulsoup4 网页解析 • 结构化解析 • DOM (Document Object Model)，树形结构 BeautifulSoup解析网页 BeautifulSoup • 用于解析HTML或XML • pip install beauti...
Learn Beautiful Soup(2)——BeautifulSoup的对象
Sugar的专栏
07-20 1万+
BeatutifulSoup有下列3个对象
爬虫问题解决--UserWarning:BeautifulSoup(YOUR_MARKUP, "lxml")--Binrry(冰蕊)
qq_40859852的博客
12-03 452
问题： UserWarning: No parser was explicitly specified, so I’m using the best available HTML parser for this system (“lxml”). This usually isn’t a problem, but if you run this code on another system, or...
beautifulsoup 运行报错“UserWarning: No parser was explicitly specified,...."
csdn635286502的博客
08-11 299
[root@localhost beautifulsoup]# python lianxi.py /usr/lib/python2.7/site-packages/bs4/__init__.py:181: UserWarni...
问题解决： No module named requests, __init__.py:166: UserWarning: No parser was explicitly specified
NaomiEdna的博客
06-16 8388
我用的是Python3.6.0, IDE 用的是PyCharm，操作系统是windows 10 今天写代码的时候遇到如下两个问题 No module named requests requests module没法import，可以通过install Setup.py来解决 （通过File-Settings-Project: Untitled - Project Interpreter，添加
bs4去除html标签,python - 如何使用BeautifulSoup从html清除标签 - 堆栈内存溢出
weixin_39714015的博客
06-28 385
我正在尝试使用NLTK库训练数据。 我按照一步一步的过程。 我做了第一步，但在做第二步时，我收到以下错误：TypeError: a bytes-like object is required, not 'list'我尽力纠正它，但我再次遇到同样的错误。这是我的代码：from bs4 import BeautifulSoupimport urllib.requestresponse = urll...
python编写poc_干货分享丨Python从入门到编写POC之爬虫专题
weixin_42513054的博客
12-23 980
Python从入门到编写POC系列文章是i春秋论坛作家「Exp1ore」表哥原创的一套完整教程，想系统学习Python技能的小伙伴，不要错过哦！Python从入门到编写POC之爬虫专题说到爬虫，用Python写的貌似是很多的。举个例子，re模块，BeautifulSoup模块，pyspider模块，pyquery等，当然还要用到requests模块，urllib模块，urllib2模块，还有一个四...
(NNNN) xxw516@516:~/mmtracking$ python demo/demo_mot_vis.py configs/mot/deepsort/sort_faster-rcnn_fpn_4e_mot17-private.py --input demo/demo.mp4 --output mot.mp4 /home/xxw516/anaconda3/envs/NNNN/lib/python3.8/site-packages/mmcv/__init__.py:20: UserWarning:
最新发布
07-06
根据用户提供的引用，我们注意到有几个可能的错误来源，包括PyTorch插件设置失败、Numpy版本问题、h5py的FutureWarning、CUDA初始化错误以及BeautifulSoup的Unicode标记警告。但是，用户特别提到了mmcv和demo_mot_...
import os import requests from bs4 import BeautifulSoup import hashlib import json SAVE_DIR = r"D:\Onedrive\桌面\search engine" DOCS_DIR = os.path.join(SAVE_DIR, "docs") META_FILE = os.path.join(SAVE_DIR, "meta.json") os.makedirs(DOCS_DIR, exist_ok=True) def fetch(url): try: resp = requests.get(url, timeout=10) resp.encoding = resp.apparent_encoding html = resp.text soup = BeautifulSoup(html, "html.parser") title = soup.title.string.strip() if soup.title and soup.title.string else url for script in soup(["script", "style"]): script.decompose() text = soup.get_text(separator=" ", strip=True) summary = text[:200] return title, summary, text except Exception as e: print(f"Failed {url}: {e}") return url, "", "" def save_doc(docid, text): path = os.path.join(DOCS_DIR, f"{docid}.txt") with open(path, "w", encoding="utf-8") as f: f.write(text) if __name__ == "__main__": # 填写你要爬的URL列表 urls = [ "https://www.python.org/", "https://zh.wikipedia.org/wiki/Python", "https://baike.baidu.com/item/Python/407313" # 可加更多... ] meta = {} for url in urls: docid = hashlib.md5(url.encode()).hexdigest() title, summary, text = fetch(url) if text.strip(): save_doc(docid, text) meta[docid] = {"url": url, "title": title, "summary": summary} print(f"Saved {url}") with open(META_FILE, "w", encoding="utf-8") as f: json.dump(meta, f, ensure_ascii=False, indent=2) print("Meta生成完毕。") 运行代码得出结果 D:\pycharm-professional-2024.3.4.exe\PythonProject\.venv\Scripts\python.exe D:\pycharm-professional-2024.3.4.exe\PythonProject\meta_generator.py D:\pycharm-professional-2024.3.4.exe\PythonProject\.venv\Lib\site-packages\jieba\_compat.py:18: UserWarning: pkg_resources is deprecated as an API. See https://setuptools.pypa.io/en/latest/pkg_resources.html. The pkg_resources package is slated for removal as early as 2025-11-30. Refrain from using this package or pin to Setuptools<81. import pkg_resources Traceback (most recent call last): File "D:\pycharm-professional-2024.3.4.exe\PythonProject\meta_generator.py", line 12, in <module> meta = json.load(f) File "D:\python\Lib\json\__init__.py", line 293, in load return loads(fp.read(), cls=cls, object_hook=object_hook, parse_float=parse_float, parse_int=parse_int, parse_constant=parse_constant, object_pairs_hook=object_pairs_hook, **kw) File "D:\python\Lib\json\__init__.py", line 346, in loads return _default_decoder.decode(s) ~~~~~~~~~~~~~~~~~~~~~~~^^^ File "D:\python\Lib\json\decoder.py", line 345, in decode obj, end = self.raw_decode(s, idx=_w(s, 0).end()) ~~~~~~~~~~~~~~~^^^^^^^^^^^^^^^^^^^^^^^ File "D:\python\Lib\json\decoder.py", line 363, in raw_decode raise JSONDecodeError("Expecting value", s, err.value) from None json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0) 怎么改？
06-04
from bs4 import BeautifulSoup import hashlib import json SAVE_DIR = r"D:\Onedrive\桌面\search engine" DOCS_DIR = os.path.join(SAVE_DIR, "docs") META_FILE = os.path.join(SAVE_DIR, "meta.json") os....
【python】如何去掉使用Beautiful Soup读取html出现的警告UserWarning
dev_zyx的博客
03-11 1034
警告如下： UserWarning: You provided Unicode markup but also provided a value for from_encoding 解决方案：
【python】如何去掉使用BeautifulSoup读取html出现的警告UserWarning: You provided Unicode markup but also provided a v...
weixin_34121282的博客
04-12 1534
  如果我们这样读取html页面 soup= BeautifulSoup(rsp.text,'html.parser',from_encoding='utf-8')  # 粗体部分多余了 就会出现下面的警告： UserWarning: You provided Unicode markup but also provided a value for from_encoding. Your ...
问题解决：UserWarning: No parser was explicitly specified
热门推荐
xuejiaguniang的博客
10-30 1万+
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.youkuaiyun.com/NaomiEdna/article/details/51694620 我用的是Python3.6.0, IDE 用的是PyCharm，操作系统是windows 10 ...
成功解决bs4\__init__.py:181: UserWarning: No parser was explicitly specified, so I'm using the best avai
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
03-08 9518
解决问题 bs4\__init__.py:181: UserWarning: No parser was explicitly specified, so I'm using the best available HTML parser for this system ("lxml"). This usually isn't a problem, but if you run this c...
BeautifulSoup报错：UserWarning: No parser was explicitly specified
沉默的鹏先生
07-09 2388
完整报错如下： UserWarning: No parser was explicitly specified, so I'm using the best available HTML parser for this system ("html5lib"). This usually isn't a problem, but if you run this code on another s...
Python库beautifulsoup的安装与使用
大星星的专栏
03-24 7676
http://www.lfd.uci.edu/~gohlke/pythonlibs/ 找到相应的库，解压后把bs4目录复制到Python安装目录下的lib目录下。 参考：http://cuiqingcai.com/1319.html #coding:utf-8from bs4 import BeautifulSouphtml = ...soup = BeautifulSoup
成功解决 bs4\__init__.py:219: UserWarning: "b'.'" looks like a filename, not markup. You should probably
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
03-12 9543
成功解决 bs4\__init__.py:219: UserWarning: "b'.'" looks like a filename, not markup. You should probably 目录 解决问题 解决思路 解决方法 解决问题 F:\Program Files\Python\Python36\lib\site-pack...
No parser was explicitly specified, so I'm using the best available HTML parser for this system ("ht...
aysk1112的博客
12-05 3771
在使用BeautifulSoup库时出现该警告，虽然不影响正常运行，但强迫症不能忍啊！！ 详细警告信息如下： UserWarning: No parser was explicitly specified, so I'm using the best available HTML parser for this system ("html.parser"). This usu...
网络爬虫之beautifulsoup
03-13 4371
一个网页的节点太多，一个个的用正则表达式去查找不方便且不灵活。BeautifulSoup将html文档转换成一个属性结构，每个节点都是python对象。这样我们就能针对每个结点进行操作。参考如下代码 def parse_url():     try:         req=urllib2.Request('http://www.xunsee.com/article/8c39f5a0-ca5
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值