NLP神器!Newspaper 一个能下载38种语言新闻文章的 Python 模块

python爬虫智能解析之newspaper 最近抓取了某查新闻舆情维度的数据,业务需求做一个情感分析,需要抓取相关链接的正文(因某查抓下来的只有摘要),新闻舆情的链接已经抓下来了,但是如下图所示这么多网站:我总不能每个网站写一个爬虫抓正文吧,那不得累死!于是想起来之前听过的智能化解析,遂学习一番,现需求任务已完成,在此做个记录总结与分享.newspaper库分为Python2和Python3两个版本,Python2下的版本叫做newspaper,Python3下的版本叫做newspaper3k,Python2版本的不做说明,下面使用Python3版本 阅读详情

Newspaper 是一个很棒的python库,用于提取和整理文章。

它有以下的优点:

  • 多线程文章下载框架

  • 识别新闻网址

  • 从html提取文本

  • 从html提取顶部图像

  • 从html提取所有图像

  • 从文本中提取关键字

  • 自动提取摘要

  • 自动提取作者

  • 自动提取 Google 趋势词

下面是这个开源模块的安装和使用教程。

1.准备

请选择以下任一种方式输入命令安装依赖:
1. Windows 环境 打开 Cmd (开始-运行-CMD)。
2. MacOS 环境 打开 Terminal (command+空格输入Terminal)。
3. 如果你用的是 VSCode编辑器 或 Pycharm,可以直接使用界面下方的Terminal.

pip3 install newspaper3k

遇到任何安装问题,可以在本文下方留言框或Python实用宝典公众号上留言,也可以访问项目官网查看相关安装指南:
https://github.com/codelucas/newspaper

2.基本使用

Newspaper 中是以文章为对象实现各种操作的,比如下载指定新闻的HTML:

from newspaper import Article

url = 'http://fox13now.com/2013/12/30/new-year-new-laws-obamacare-pot-guns-and-drones/'

# 根据url生成Article对象
article = Article(url)

# 下载文章
article.download()

# 文章的HTML
article.html
#'<!DOCTYPE HTML><html itemscope itemtype="http://...'

通过解析新闻和文章,你能获得此文章的作者、发布时间、摘要、顶部图像、所有图像、多媒体等:

"""
Python 实用宝典
《Newspaper — 一个能下载38种语言新闻文章的 Python 模块》
"""

# 解析文章
article.parse()

# 获取文章作者
article.authors
# ['Leigh Ann Caldwell', 'John Honway']

# 获取文章发布日期
article.publish_date
# datetime.datetime(2013, 12, 30, 0, 0)

# 获取文章文本
article.text
# 'Washington (CNN) -- Not everyone subscribes to a New Year's resolution...'

# 获取顶部图像
article.top_image
# 'http://someCDN.com/blah/blah/blah/file.png'

# 获取文章多媒体资源
article.movies
# ['http://youtube.com/path/to/link.com', ...]

除此之外,该模块还附带了 NLP 功能,你能用它来识别文章关键字并自动提取摘要:

# 使用 NLP 解析
article.nlp()

# 获取文章关键词
article.keywords
# ['New Years', 'resolution', ...]

# 获取文章摘要
article.summary
# 'The study shows that 93% of people ...'

你看,这个工具不无敌吗?它还能提取某个网站的所有新闻文章,比如我想提取CNN的新闻文章:

import newspaper

cnn_paper = newspaper.build('http://cnn.com')

for article in cnn_paper.articles:
    print(article.url)
# http://www.cnn.com/2013/11/27/justice/tucson-arizona-captive-girls/
# http://www.cnn.com/2013/12/11/us/texas-teen-dwi-wreck/index.html

在此之上,你还能拿到CNN的其他新闻门户分类:

for category in cnn_paper.category_urls():
    print(category)

# http://lifestyle.cnn.com
# http://cnn.com/world
# http://tech.cnn.com
# ...

许多中文媒体的文章下载也是支持的:

import newspaper
sina_paper = newspaper.build('http://www.sina.com.cn/', language='zh')

for category in sina_paper.category_urls():
    print(category)
# http://health.sina.com.cn
# http://eladies.sina.com.cn
# http://english.sina.com
# ...

article = sina_paper.articles[0]
article.download()
article.parse()

print(article.text)
# 新浪武汉汽车综合 随着汽车市场的日趋成熟,
# 传统的"集全家之力抱得爱车归"的全额购车模式已然过时,
# 另一种轻松的新兴 车模式――金融购车正逐步成为时下消费者购
# 买爱车最为时尚的消费理念,他们认为,这种新颖的购车
# 模式既能在短期内
# ...

print(article.title)
# 两年双免0手续0利率 科鲁兹掀背金融轻松购_武汉车市_武汉汽
# 车网_新浪汽车_新浪网

从上面的例子你可以看到,你可以非常容易地提取中文文章,仅需要在Article的language参数中指定 'zh' :

"""
Python 实用宝典
《Newspaper — 一个能下载38种语言新闻文章的 Python 模块》
"""

from newspaper import Article
url = 'http://www.bbc.co.uk/zhongwen/simp/chinese_news/2012/12/121210_hongkong_politics.shtml'
a = Article(url, language='zh') # Chinese
a.download()
a.parse()
print(a.text[:150])

# 香港行政长官梁振英在各方压力下就其大宅的违章建
# 筑(僭建)问题到立法会接受质询,并向香港民众道歉。
# 梁振英在星期二(12月10日)的答问大会开始之际
# 在其演说中道歉,但强调他在违章建筑问题上没有隐瞒的
# 意图和动机。一些亲北京阵营议员欢迎梁振英道歉,
# 且认为应能获得香港民众接受,但这些议员也质问梁振英有

print(a.title)
# 港特首梁振英就住宅违建事件道歉

这个工具所支持的所有语言如下:

上滑查看更多语言

code            full name
ar              Arabic
be              Belarusian
bg              Bulgarian
da              Danish
de              German
el              Greek
en              English
es              Spanish
et              Estonian
fa              Persian
fi              Finnish
fr              French
he              Hebrew
hi              Hindi
hr              Croatian
hu              Hungarian
id              Indonesian
it              Italian
ja              Japanese
ko              Korean
lt              Lithuanian
mk              Macedonian
nb              Norwegian (Bokmål)
nl              Dutch
no              Norwegian
pl              Polish
pt              Portuguese
ro              Romanian
ru              Russian
sl              Slovenian
sr              Serbian
sv              Swedish
sw              Swahili
th              Thai
tr              Turkish
uk              Ukrainian
vi              Vietnamese
zh              Chinese

你可以按需选择自己所需要的语言。

3.高级玩法

前面我们说过,Newspaper 是一个可以并发下载文章的框架,它是这么玩的:

"""
Python 实用宝典
《Newspaper — 一个能下载38种语言新闻文章的 Python 模块》
"""

import newspaper
from newspaper import news_pool

slate_paper = newspaper.build('http://slate.com')
tc_paper = newspaper.build('http://techcrunch.com')
espn_paper = newspaper.build('http://espn.com')

papers = [slate_paper, tc_paper, espn_paper]
news_pool.set(papers, threads_per_source=2) # (3*2) = 总计 6 线程
news_pool.join()

# 到这一步,你可以假定三个新闻源的文章都下载完成了
print(slate_paper.articles[10].html)
# u'<html> ...'

可以看到,作者通过 build 三个新闻源,拿到一个总的新闻源池进行并发请求。

其中,.set 函数起到了调度作用,它能通过指定 threads_per_source 的值设定每个新闻源的线程。最后再 join 起来开始并发请求新闻源并开始下载新闻。

此外,Newspaper 还有一些参数可供你配置,比如:

上滑查看更多参数

keep_article_html,默认为False,“如果要保留正文文本的html,则设置为True”
http_success_only,默认为True,“设置为False也可以捕获非2XX响应”
MIN_WORD_COUNT,默认为300,“文章中的单词数量”
MIN_SENT_COUNT,默认为7,“句子数”
MAX_TITLE,默认值为200,“文章标题中的字符数”
MAX_TEXT,默认值为100000,“文章文字中的字符数”
MAX_KEYWORDS,默认值为35,“文章中的关键词数”
MAX_AUTHORS,默认值为10,“文章中的作者姓名数量”
MAX_SUMMARY,默认值为5000,“摘要的字符数”
MAX_SUMMARY_SENT,默认为5,“摘要中的句子数”
memoize_articles,默认为True,“运行后缓存并保存运行后的文章”
fetch_images,默认为True,“如果不需要获取图片,请将其设置为false”
request_timeout,默认为7,请求7秒后未响应完成则超时
number_threads,默认值为10,多线程数量

如果你需要使用以上参数,可以设一个Config对象,传入指定的 Article 对象或build 方法中,如:

import newspaper
from newspaper import Config, Article, Source

config = Config()
config.memoize_articles = False

cbs_paper = newspaper.build('http://cbs.com', config)

非常简单易懂,而且设置起来的维护成本不算很高。

在做一些舆情分析或者NLP算法训练/测试的时候,这个模块简直就是你的福音。你可以很方便地从网站上提取任意语言的文本数据,拿来测试或者训练都可以。

对于那些想要搞舆情分析,寻找市场热点的同学而言,这个模块也是非常方便,你能搭配邮件发布工具,并使用Newspaper的关键词提取功能,迅速制作一个关键词热点实时告警的工具。

总而言之,这是一个非常值得了解并学习使用的第三方模块,强烈推荐。

觉得还不错就给我一个小小的鼓励吧!
Linguistic Chinese-crx插件 语言:English 基于上下文的学习软件教学中文通过替换 欢迎! 语言中文是一种基于浸入的文本替换软件,允许用户在浏览互联网时被动地学习汉字。 这是免费的,beta版本。 我们的网站和延期内提供更多信息。 享受! 立即下载

相关推荐

python指纹识别算法(亲测代码可用)

python指纹识别算法

2301_76482796的博客 3080

python3.6 使用newspaper库的Article包来快速抓取网页的文章或者新闻等正文

我主要是用了两个方法来抽去正文内容,第一个方法,诸如xpath,css,正则表达式,beautifulsoup来解析新闻页面的时候,总是会遇到这样那样各种奇奇怪怪的问题,让人很头疼。第二个方法是后面标红的,主要推荐用newspaper库 在导师公司,需要利用重度搜索引擎来最快的获取想要的内容,再建立语料库,于是我用python 的 beautifulsoup 和urllib 来抓取一些网页内容来...

lijiaqi0612的博客 1万+

从零开始搭建属于自己的语音识别API服务器(ASRT开源项目)

材料准备 云服务器 (本人使用的的是阿里云服务器 Ubuntu(Linux操作系统)) 环境搭建 1. Python 3.7 话不多说直接上代码 sudo su yum -y install git yum -y install gcc yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-deve

zhi_qian的博客 5648

Newspaper 一个能下载 38 种语言新闻文章的 Python 模块

这是「进击的Coder」的第 485篇技术分享作者:Ckend来源:Python 实用宝典“ 阅读本文大概需要 7 分钟。 ”Newspaper 是一个很棒的 python 库,用于提取...

静觅 762

Win11上从零跑通Carla自动驾驶仿真:保姆级环境配置与避坑指南(Python 3.7+)

本文详细介绍了在Win11系统上从零配置Carla自动驾驶仿真环境的完整流程,包括Python 3.7+环境搭建、依赖安装、常见问题排查及性能优化技巧。通过保姆级教程帮助开发者快速避坑,实现稳定的自动驾驶仿真测试环境部署。

weixin_33488239的博客 421

直线型一阶倒立摆1---从理论到实践的桥梁

本文深入探讨了直线型一阶倒立摆在控制理论中的核心地位,从非线性控制、鲁棒性到实时反馈等关键问题。通过实际案例和硬件搭建指南,帮助读者理解从理论到实践的过渡,特别适合控制工程初学者和研究人员。文章还提供了算法选型建议和硬件避坑手册,是掌握倒立摆控制的实用指南。

weixin_29047545的博客 323

python爬虫的newspaper3k库用法

等属性获取新闻的标题、作者、发布时间、正文和关键词等信息。模块爬取新闻列表 如果需要爬取某个新闻网站的新闻列表,可以使用。属性获取新闻列表,并遍历每个新闻。对于每个新闻,我们使用。等属性获取新闻的标题、作者、发布时间、正文和关键词等信息。对象,指定要爬取的新闻网址和语言。对象,指定要爬取的新闻网址和语言。在上述代码中,我们首先创建了一个。方法下载新闻网页,并使用。在上述代码中,我们首先使用。方法下载新闻网页,并使用。

EaSoNgo111的博客 1263

R语言使用rms包的psm函数拟合参数生存模型(parametric survival model)、并可视化列线图(诺模图、nomogram)

R语言使用rms包的psm函数拟合参数生存模型(parametric survival model)、并可视化列线图(诺模图、nomogram)

statistics+insight+vista+power 905

如何使用Python Newspaper库提取新闻中的关键词

请注意,该代码只适用于提取新闻文章中的关键词。此外,该方法依赖于网络连接,并且提取的关键词结果可能会因使用的新闻网站或文章的特定结构而有所不同。要使用此代码,你需要将`<输入新闻文章的URL>`替换为你要提取关键词的实际新闻文章的URL。例如,可以更改提取关键词的方法,或者进一步使用其他自然语言处理技术来处理提取出的关键词。使用`download()`方法下载文章的网页内容,然后使用`parse()`方法解析文章的主体内容。在这段代码中,我们通过传入新闻文章的URL创建了一个新的`Article`对象。

xiaocxyczh的博客 1025

如何通过conda安装HyPhy教程

本文介绍了在Ubuntu系统上通过conda安装分子进化分析工具HyPhy的详细步骤。首先创建conda环境并指定Python 3.8版本,然后通过bioconda通道安装HyPhy软件包。安装完成后可通过conda list命令验证安装。文中还特别指出可能遇到的libcrypto.so.1.1共享库缺失错误,并提供了解决方案的参考链接。该教程配有安装过程截图,帮助用户直观了解操作流程和验证安装结果。

猿小白的博客 8263

海康网口相机不能被flexscan3d识别到MVS版本为4.6.1,flex为3.3.24在MVS中能够检测到,但是在flex中只能看到电脑自带相机,如何解决?

🏆本文收录于 《全栈 Bug 调优(实战版)》 专栏。专栏聚焦真实项目中的各类疑难 Bug,从成因剖析 → 排查路径 → 解决方案 → 预防优化全链路拆解,形成一套可复用、可沉淀的实战知识体系。无论你是初入职场的开发者,还是负责复杂项目的资深工程师,都可以在这里构建一套属于自己的「问题诊断与性能调优」方法论,助你稳步进阶、放大技术价值 。

**My Coding Family** 1051

newspaper爬取新闻网站

newspaper爬取新闻网站 安装newspaper pip install newspaper3k 代码 from newspaper import Article url = '你想要爬取的网站url' news = Article(url, language='zh') news.download() # 先下载 news.parse() # 再解析 text...

young的博客 848

全面解析量化价值投资多因子模型的原理

明明知道“买便宜的好公司”是价值投资的核心,但面对3000+只A股,如何快速筛选出“便宜又好”的标的?主观判断总被情绪干扰——明明PE很低的股票,买了却不涨;或者因为“感觉”错过牛股?想规模化投资,但手动分析100只股票就要花一周,根本无法覆盖全市场?量化价值投资的多因子模型,正是解决这些问题的钥匙。它将价值投资的核心逻辑(“便宜”“好公司”)转化为可量化的因子,用数学模型替代主观判断,实现系统化筛选、可回测验证、规模化复制的投资决策。为什么多因子模型能有效预测股票收益?

AI天才研究院 1060

Newspaper库,一个新手也能快速上手的爬虫库

Newspaper还支持多种语言,包括英语、中文、德语、阿拉伯语等,使得它可以适应不同国家和地区的新闻网站。此外,它还能识别新闻链接,并从HTML文件中提取文本、图片等多媒体内容,为用户提供更全面的新闻信息。然而,对于更复杂的项目或者网站有强劲的反爬虫功能的话,可能会在处理过程中出现各种bug或者被目标网站直接拒绝访问或者的情况,此时就需要结合其他工具或框架来实现更稳定、更高效的爬取任务。它提供了一种简单而高效的方式来抓取新闻网页,解析内容,并提取出有用的信息,如文章标题、正文、作者、发布日期等。

Oona_01的博客 447

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

python语言的数学模块_第37天:Python math 模块

by 程序员野客我们知道 Python 有很多运算符可以进行数学运算,如果是简单的问题还好说,但是要处理一些相对复杂的问题也要我们自己一行一行手动的来编写吗?答案当然不是,Python 提供了 math 模块对一些数学运算提供了支持。1 简介math 模块提供了对 C 标准定义的数学函数的访问,但该模块并不支持复数运算,如果想使用复数预算需使用 cmath 模块,将支持计算复数的函数区分开的目的,...

weixin_39649490的博客 356

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

新闻类爬虫库:Newspaper

newspaper库是一个主要用来提取新闻内容及分析的Python爬虫框架。此库适合抓取新闻网页。操作简单易学,即使对完全没了解过爬虫的初学者也非常的友好,简单学习就能轻易上手,除此之外,使用过程你不需要考虑HTTP Header、IP代理,也不需要考虑网页解析,网页源代码架构等问题。 我们以https://www.wired.com/为例,进行演示。 获取新闻 import new...

所寫即所思|一个阿里质量人对测试的所感所悟。 704

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

python3.6使用newspaper快速抓取任何新闻文章正文

之前使用其他方法,诸如xpath,css,正则表达式,beautifulsoup来解析新闻页面的时候,总是会遇到这样那样各种奇奇怪怪的问题,让人很头疼。 最近学到一个新的包newspaper,用来抓取新闻正文,真的很好用呢。 这个包是需要自己重新安装的,我使用的是pycharm。 在settings配置环境,添加包newspaper的时候总是添加不进去。那就pip吧! 于是打开命令行窗口,...

weixin_41931602的博客 7312

Python实战:能下载38种语言的模块——Newspaper

Newspaper 是一个很棒的python库,用于提取和整理文章。它有以下的优点:多线程文章下载框架识别新闻网址从html提取文本从html提取顶部图像从html提取所有图像从文本中提取关键字自动提取摘要自动提取作者自动提取 Google 趋势词我们的文章到此就结束啦,如果你喜欢今天的Python 实战教程,请持续关注Python徐浪老师!

liaozp88的博客 1076

python使用newspaper快速抓取新闻文章

最近突然想到newspaper,是一个算是专门用来抓取新闻正文,标题,图片等的一个包。 这个包是需要自己重新安装的。 在settings配置环境,添加包newspaper。 如果添加不进去就使用pip命令添加 打开命令行窗口,输入 pip3 install --ignore-installed --upgrade newspaper3k 如果文章没有指明使用的什么语言的时候,Newspaper...

顾清风.的博客 5593

Python第三方库 | newspaper教程 | newspaper3k实战教程 | 使用Python newspaper库进行新闻文章抓取和处理,一文通!

newspaper是一个用Python编写的流行开源库,用于从网站上抓取新闻文章。它提供了一种简单而有效的方法来提取新闻内容、图片、作者信息等,并且支持多语言。

HRG520JN的博客 3828

python newspaper_第74天:Python newspaper 框架

by 程序员野客1 简介newspaper 框架是一个主要用来提取新闻内容及分析的 Python 爬虫框架,更确切的说,newspaper 是一个 Python 库,但这个库由第三方开发。newspaper 主要具有如下几个特点:比较简洁速度较快支持多线程支持多语言GitHub 链接:https://github.com/codelucas/newspaper安装方法:pip3 install n...

weixin_39602615的博客 862

NLP学习路径(一):NLP基础知识

1、基本术语: (1)分词 分词常用手段:基于字典的最长串匹配,但歧义分词很难。比如:美国/会/通过法案。美/国会/通过法案。 (2)词性标注 词性:动词、名词、形容词等 目的:表征词的一种隐藏状态,隐藏状态构成的转移就构成了状态转移序列。比如:我/r爱/v中国/ns。其中,ns代表名词,v是动词,ns,v都是标注。 (3)命名实体识别 指从文本中识别具有特定类别的实体(通常是名词),例如人名、地...

jiaojiaolou的博客 2480

NLP文本分类

停用词(Stop Word)是一类既普遍存在又不具有明显的意义的词,在英文中例如:“the”、“of”、“for”、“with”、“to”等,在中文中例如:“啊”、“了”、“并且”、“因此”等。统计学认为分词是一个概率最大化问题,即拆分句子,基于语料库,统计相邻的字组成的词语出现的概率,相邻的词出现的次数多,就出现的概率大,按照概率值进行分词,所以一个完整的语料库很重要。决策树的构建过程一般是自上而下的,决策树可以是二叉树也可以是多叉树,剪枝的方法也有多种,但是具有一致目标,即对目标文本集进行最优分割。

Neo_21的博客 4185

基于python的新闻推荐系统的设计与实现

用户登录可以查看、修改自己账号的个人信息,也可以通过管理后台修改其他会员的个人信息。数据库(sqlite/mysql/sqlserver等):sqlite。开发工具(eclipse/idea/vscode等):pycharm。可以进入管理页面,可以查看词云图、原始页面。

m0_73268882的博客 1244

Python爬虫:使用newspaper解析新闻页面信息

github: https://github.com/codelucas/newspaper 安装 pip3 install newspaper3k 代码示例 # -*- coding: utf-8 -*- from newspaper import Article url = &quot;https://news.sina.com.cn/c/xl/2019-02-25/doc-ihrfqzka909...

彭世瑜的博客 3217
上一篇: 「Python实用秘技03」导出项目的极简环境依赖
下一篇: Numpy简易入门
Wang_AI
博客等级 码龄12年 998粉丝 162原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值