网页去噪，网页正文文本提取方案一（readability）

最新推荐文章于 2025-06-15 16:06:22 发布

原创

最新推荐文章于 2025-06-15 16:06:22 发布 · 5.5k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#python #网页正文提取 #网页去噪 #readability

本文介绍了使用Python实现的网页正文提取方案，通过Readability库进行网页去噪，旨在提供干净整洁的阅读体验。适用于手机和平板浏览，去除广告，以及配合爬虫抓取互联网有效信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

提起网页正文提取和网页内容去噪，最有名的就是readability它了。现在有多种版本java，js，ios，android都有了。
介绍：In few words,Given a html document, it pulls out the main body text and cleans it up.
代码实例：
采用的是python-readability 项目git地址

from readability.readability import Document
import urllib
html = urllib.urlopen(url).read()
readable_article = Document(html).summary()
readable_title = Document(html).short_title()

效果拿一个url(http://blog.sina.com.cn/s/blog_4949b3d50102e81h.html?tj=1)
一个新浪的博客地址，有导航，评论，广告之类噪点信息
获得的正文信息如下：

<html><body><div><div id="sina_keyword_ad_area2" class="articalContent  ">
			<p align="left"><span>
一代百变歌后梅艳芳病逝至今<span>10</span>年，同时是她<span>50</span>岁冥寿，她的挚友刘培基为她的纪念活动拉开华丽庄重的序幕，早在今年<span>7</span>月展出梅艳芳多套经典舞台服饰，供歌迷凭吊。</span></p>
<p align="left"><span>
叫人唏嘘的是，在她<span>10</span>月<span>10</span>日生忌前夕，管理她遗产的基金要拍卖她的所有遗物，因为她生前的豪宅已出售套现，交去前需清理屋内所有物件，因此要开放已封闭<span>10</span>年、外人不得越雷池半步的香闺给买家参观拍卖品，她生前绝对不容曝光的睡床、厕所等任由一班陌生人细看、研究是否要竞投，逝者尊严何在？</span></p>
<p align="left"><span>
更令人慨叹的是她生前珍而重之的贝克汉姆亲笔签名足球、刘德华手抄心经墨宝、具纪念价值的歌衫、打生打死赢回来的奖座、挂满衣柜的名牌时装等在她身故<span>10</span>年后急剧折旧，每件底价<span>500</span>至<span>1500</span>港元，少于内地一张演唱会门票的价钱，多悲凉。</span></p>
<p align="left"><span>
在舞台上光芒四射、享尽掌声欢呼声、万千宠爱、前呼后拥、丰衣足食，看似拥有全世界，现实中她充满无奈空虚和苦涩。</span></p>
<p align="left"><span>
追求爱情的她，一生寻觅至爱，望能找到可倚靠的肩膀，爱神却没眷顾她，要她孤身走最后一程。</span></p>
<p align="left"><span>
她离世<span>10</span>年后，林国斌终肯剖白他曾与梅艳芳拍拖<span>3</span>年，梅艳芳更决定为他退出歌坛，回归平淡生活，最后因小误会而分手。</span></p>
<p align="left"><span>
在她病重期间，要托付人生最后一件大事：遗产分配，竟没一个身边人她认为可以信任，她宁愿将用一生青春血汗挣回来的财产交信托基金管理。她为年老的母亲计划好一切，每月付她<span>7</span>万元生活费，直至她百年归老。没有送她一大笔金钱，是怕她被人骗财，又怕她不善理财，很快把钱花光。</span></p>
<p align="left"><span>
老人家不太领她情，用尽方法要夺得她其他的遗产，四出指有关人士及机构谋财害命，上演街头叫骂闹剧，完全不尊重女儿遗愿。</span></p>
<p align="left"><span>10</span><span>年间，她的月生活费由<span>7</span>万增加超过一倍至<span>15</span>万，最后还是破产，梅艳芳的忧虑是对的。</span></p>
<p align="left"><span>
梅艳芳的家人指拍卖梅艳芳遗物是对阿梅不敬。信托公司要拍卖的阿梅故居及遗物，就是为了要支付梅妈的生活费，对阿梅不敬、不尊重的到底是谁？</span></p>
<p><span>
本博客内容未经许可禁止转载。</span></p>
<p><font face="黑体">大陆地区经纪公司：北京点形文化传播公司 dianxing58@vip.sina.com</font></p>
<p><fon