Python Newspaper3k 自动获取文章的 标题 和 内容

安装模块:

pip install newspaper3k

文档:

https://github.com/codelucas/newspaper 

import newspaper

url = 'http://dqmzj.daqing.gov.cn/819/30749.html'

new = newspaper.Article(url,language='zh')
new.download()
new.parse()

print(new.text)
print(new.url)
print(new.title)

 

newspaper3k 是一种 Python ,用于从网页中提取文章内容元数据。它可以用于爬取新闻媒体网站,并用于构建新闻聚合系统、数据挖掘、研究等领域。其实现方式主要包括以下几个步骤: 1. 安装 newspaper3k:可以通过 pip 安装 newspaper3k ,命令为 `pip install newspaper3k`。 2. 导入 newspaper3k :在 Python 中导入 newspaper3k ,命令为 `from newspaper import Article`。 3. 创建 Article 对象:创建一个 Article 对象,用于存储要提取的网页内容元数据。可以使用 `Article(url)` 方法,将需要提取的网页的 URL 作为参数传入,创建一个 Article 对象。 4. 下载并解析网页:使用 `download()` 方法下载网页内容,并使用 `parse()` 方法解析网页内容元数据。 5. 获取文章信息:使用 Article 对象的各种属性方法,获取文章标题、作者、发布日期、正文内容等信息。例如,使用 `title` 属性获取文章标题,使用 `authors` 属性获取文章的作者,使用 `publish_date` 属性获取文章的发布日期,使用 `text` 属性获取文章的正文内容。 6. 清洗处理文章内容:使用 `nlp()` 方法对文章的正文内容进行清洗处理,如去除停用词、分词、词性标注等。 7. 输出结果:将提取文章信息正文内容输出到屏幕或保存到文件中。 需要注意的是,使用 newspaper3k 进行网页内容提取时,需要遵守相关法律法规网站的使用协议,不得进行未授权的网页爬取数据挖掘活动。同时,为了提高提取效率质量,可以使用多线程、分布式爬虫等技术手段,根据具体情况进行优化改进。 总之,newspaper3k 是一种非常有用的 Python ,可以帮助我们从网页中提取文章内容元数据,便于进行数据挖掘、研究等活动。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值