python beautifulsoup 抓取网页正文内容

最新推荐文章于 2025-06-19 21:44:03 发布
原创 最新推荐文章于 2025-06-19 21:44:03 发布 · 9.5k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

本文介绍了如何使用Python的BeautifulSoup和urllib库抓取网页内容，特别是凤凰军事滚动新闻的正文。首先，提取新闻链接，通过分析网页源码定位超链接，并循环获取“下一页”或“前一天”的链接。遇到编码问题后成功解决。其次，抓取正文内容，正文通常位于特定的div标签内，通过BeautifulSoup解析并去除无关内容。在运行过程中，可能会因网络或服务器问题导致程序中断，需要适当处理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

最近要跟着同学做一个小项目，需要自己找语料库，于是我用python 的 beautifulsoup 和urllib 来抓取一些网页内容来做训练语料。现在写下来备忘，虽然还有些不足。

这里，我抓取的是凤凰军事的滚动新闻，点开后可以发现是一系列的新闻链接，所以接下来就分两个方面的工作，第一个是将这些新闻链接全部提取出来，保存文本。第二个是根据这些链接访问网页，抓取正文内容，再保存文本。


提取新闻链接


通过分析滚动新闻的网页源码，发现这些超链接都是在<div class = "main"> </div>标签之间（不同网站有不同的格式），用beautifulsoup来提取比较好，若用urllib容提取到其他url，不易区分。

我们在

最低0.47元/天 解锁文章

200万优质内容无限畅学
Python编程：使用BeautifulSoup库获取HTML文件中的正文
code_welike的博客
05-30 452
在爬取网页数据的过程中，经常需要从HTML文件中提取出有用的信息。本文将介绍如何使用Python的BeautifulSoup库来获取HTML文件中的正文。接下来我们需要去掉其中的无用标签，只保留正文部分。以上就是使用Python的BeautifulSoup库获取HTML文件中正文的方法。Python编程：使用BeautifulSoup库获取HTML文件中的正文。根据HTML文件的结构，我们可以发现正文部分都在。标签内的所有标签，并判断它们的标签名是否在。中存储的就是处理好的正文内容。
用 Python BeautifulSoup 实现网页链接的提取与分析
Python编程之道的博客
04-04 1829
本文旨在提供一个全面的指南，介绍如何使用Python的BeautifulSoup库进行网页链接的提取与分析。HTML解析基础链接提取技术链接过滤与清洗链接统计分析实际应用案例首先介绍BeautifulSoup和HTML解析的基础知识然后详细讲解链接提取的技术细节接着介绍链接分析和数据处理方法最后提供实际应用案例和高级技巧HTML: 超文本标记语言，用于创建网页的标准标记语言DOM: 文档对象模型，表示HTML文档结构的树状模型。
python BeautifulSoup获取网页正文
weixin_33711641的博客
06-26 688
通过BeautifulSoup库的get_text方法找到网页的正文：#!/usr/bin/envpython #coding=utf-8 #HTML找出正文 importrequests frombs4importBeautifulSoup url='http://www.baidu.com' html=requests.get(url) soup=Bea...
python+BeautifulSoup爬取不老歌的网页正文
yxyl_1999的专栏
02-11 1138
不老歌上有很多小说，想把他们都集中为一个txt放在手机里看。下面代码针对以年份归档好的文章。 from bs4 import BeautifulSoup import requests import time import re def getContent(url): from bs4 import BeautifulSoup import requests r
python怎么抓取_python怎么抓取正文？
weixin_39868663的博客
12-17 316
python抓取正文的方法：步骤：首先清除网页中CSS,Javascript,注释，Meta,Ins这些标签里面的内容，清除空白行。计算每一个行的经过处理的数值(1)计算上面得出的每行文本数的最大正子串的开始结束位置其中第二步需要说明一下：对于每一行，我们需要计算一个数值，这个数值的计算如下：一个图片标签img，相当于出现长度为50字符的文本 (给予的权重)，x1,一个视频标签embed，相当于出...
python怎样读取网页中的文本_python 怎么获取网页内容
weixin_39743369的博客
11-21 2634
Python用做数据处理还是相当不错的，如果你想要做爬虫，Python是很好的选择，它有很多已经写好的类包，只要调用，即可完成很多复杂的功能。1 Pyhton获取网页的内容(也就是源代码)（推荐学习：Python视频教程）page = urllib2.urlopen(url)contents = page.read()#获得了整个网页的内容也就是源代码print(contents)url代表网址，...
python基于BeautifulSoup实现抓取网页指定内容的方法
09-21
本篇文章将详细介绍如何使用Python结合BeautifulSoup来抓取网页上的指定内容。 首先，要使用BeautifulSoup，需要导入必要的库。在Python中，`urllib2`库用于打开和读取网页，而`BeautifulSoup`则是解析网页内容的...
用 Python BeautifulSoup 实现网页表格数据的提取
最新发布
Python编程之道的博客
06-19 911
在当今信息爆炸的时代，网页上存在着大量有价值的数据。其中，表格数据是一种常见且结构化程度较高的数据形式，例如股票行情、商品价格列表、赛事比分等。本文章的目的就是教会读者如何使用 Python 的 BeautifulSoup 库来提取网页中的表格数据。范围涵盖了从 HTML 网页中定位表格元素，到解析表格中的行和列数据，最终将数据进行整理和存储的整个过程。本文将按照以下结构进行组织：首先介绍相关的核心概念和它们之间的联系，包括 BeautifulSoup 的工作原理和 HTML 元素的定位方法。
python论文抓取_Python通过正则表达式选取抓取文章的正文
weixin_39879651的博客
12-06 307
python用什么方法可以抓取文章的正文部分，是我最近在瞎想的问题，想知道怎么通过xpath去精确抓取文章的正文，跟parselets类似的想法，只不过会更简单些。在python代码的设计上，是采用正则表达式匹配URL，之后再选择callback handler的方式来做。主要参考的是web.py的分发器。有些朋友会认为这个方法不高大尚，因为全部是用python function的方式回调，而且没...
python从网页提取文本_从网页中提取文本
weixin_39689687的博客
02-09 1612
我正在尝试解析网页中的文本，从this page开始。这个页面有到最终页面的链接(也可以手动将其移动到文本文件中；这样可以避免在编码上付出额外的努力)。在最后一页的左手边有一个页面索引。每个页面都有一个页面索引。页面索引位于每页的顶部。我只需要从这个项目列表中提取一行以'Configuring'、'Configuration Examples'或'Example'开头的行。在这个任务在手动执行时看...
python简单爬虫抓取网页内容实例
06-08
一个简单的python示例，实现抓取 嗅事百科 首页内容 ，大家可以自行运行测试
Python爬虫（3） --爬取网页文本
m0_74896766的博客
07-21 6639
指定url：找到网页地址发送请求：requests请求获取你想要的数据：文本接收，请求到的内容数据解析：xpath语言：定位到目标位置re正则匹配：精准取出目标内容，去除杂质。
Python和Beautiful Soup爬虫助力提取文本内容
csdn1561168266的博客
12-12 901
如果想直接跳转到代码部分，可以在下方链接GitHub仓库中找到，同时还会找到一个包含将爬取的700个链接的。这只是对随机链接进行上述测试，但测试的对象是提供的数据集中的所有链接。，这意味着在700多个网站中只有268个爬取成功，可以使用下面的代码访问并打印第一个被爬取的网站。测试了简单的提取函数，接下来对提供的链接数据集的所有链接进行迭代提取。进而可以在一个新链接上测试这两个函数，可以放置任意链接，不需要使用下面的链接。的列表，它将包含从每个网页中提取的所有可以爬取的文本。)的长度，查看提取了多少链接。
Python爬取网页内文本内容,python爬取网页详细教程
2301_81900386的博客
03-18 2694
本文介绍Python爬虫入门教程，主要讲解如何使用Python爬取网页数据，包括基本的网页数据抓取、使用代理IP和反爬虫技术。一、Python爬虫入门Python是一门非常适合爬虫的编程语言。它具有简单易学、代码可读性高等优点，而且Python爬虫库非常丰富，使用Python进行爬虫开发非常方便。在这个程序中，我们使用了requests库来发送HTTP请求，并使用BeautifulSoup库来解析HTML文档。通过这两个库，我们可以轻松地获取网页数据，进而进行数据分析和处理。二、使用代理IP。
Python 爬虫进阶篇-利用beautifulsoup库爬取网页文章内容实战演示
小蓝枣的博客
09-12 3943
Python 爬虫进阶篇-利用beautifulsoup爬取网页文章内容实战演示。 我们以 fox新闻 网的文章来举例子，把整篇文章爬取出来。 首先是标题，通过结构可以看出来 class 为 article-header 的节点下的 h1 里的内容即是标题，通过 string 可以获取 dom 节点里的文本内容。 然后是正文，通过结构可以看出来 class 为 article-body 的节点下的 p 元素组成了正文内容，通过 contents 可以获取 body 下所有的节点。
【练习】爬取页面数据单纯BeautifulSoup方法
NeHAO_WU的博客
11-04 815
爬取起点中文网页面数据，获取文章标题、小说作者、小说类别、小说的描述和最后更新日期 因还未学到正则表达式，所以是用BeautifulSoup方法 声明： 1、 学生刚开始学习爬虫，代码会有很多不严谨，也较为粗糙，单纯用于广大网友参考，希望能起到一定的帮助 2、 如果要转载，请标记出来源 3、本文纯粹用于技术练习，请勿用作非法途径 代码行： import requests from bs4 import BeautifulSoup response=requests.get("https://www.qidi
Python 爬取网页文字并保存为 txt 文件教程
2403_89537385的博客
12-19 1738
将要爬取的网页网址赋值给变量url。
Python爬取网站文本信息,新手保姆级教程 !
xiaolinyui的博客
11-04 3028
我们普通的网页一般都是XML文档格式，当我们想提取里面的内容时，我们需要借助Xpath来分解其中的格式，提取我们想要的内容。在我们爬虫的过程中，我们有时候可以在开发者模式返回的网页里找到完整的json格式的数据，这时候我们就可以运用requests包里的json函数将爬取到的原文本转化格式，从而方便我们提取内容。大家可以看到有一个普遍的规律：主演的名字所对应的节点名都为a，属性都为rel=“v:starring”，这样我们就可以很轻易的用xpath的语法定位到拥有这个元素的节点，然后将所有的结果找出。
Python爬虫入门学习——网页批量爬取文本
热门推荐
GIS热爱者
04-20 4万+
Python爬虫小白入门，文章首先介绍爬虫概念，以及爬虫的合法性问题。基于对网页的HTML编码的初步了解，介绍了两个第三方库，requests和BeautifulSoup库。进而进阶至小说文本的爬取，再深入到爬取小说并规整格式至txt文本，最后引出批量下载各章节的小说文本至文件夹中！......
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值