Python第三方库 | newspaper教程 | newspaper3k实战教程 | 使用Python newspaper库进行新闻文章抓取和处理，一文通！

已于 2024-11-19 15:52:35 修改
阅读量1.7k 收藏 15
点赞数 14
分类专栏： python爬虫宝典 Python 第三方库 文章标签： python newspaper库 newspaper教程 newspaper3k
于 2024-11-19 15:49:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/HRG520JN/article/details/143886618
版权

一、引言

newspaper是一个用Python编写的流行开源库，用于从网站上抓取新闻文章。它提供了一种简单而有效的方法来提取新闻内容、图片、作者信息等，并且支持多语言。

主要功能：

  • 文章提取：可以从给定的URL中提取完整的新闻文章文本，包括标题、正文、作者、发布日期等。
  • 多语言支持：虽然主要针对英语，但它也支持其他多种语言的文章提取。
  • 图片下载：可以下载文章中的图片到本地文件系统。
  • 视频下载：支持下载嵌入在文章中的视频链接。
  • 关键词和摘要生成：能够自动为文章生成关键词列表和摘要。
  • 用户代理轮换：内置了用户代理轮换功能，有助于避免因频繁请求而被目标网站封禁。
  • 并行处理：支持多线程或多进程并行处理，加快数据抓取速度。

 二、newspaper库的基本用法

1. 安装newspaper库

安装newspaper非常简单，可以通过pip命令直接安装：

pip install newspaper3k

注意：pip install newspaper是python2.x版本的，如果使用的是python3.x一定要安装newspaper3k 

在实际运行过程中，还需要注意是否存在lxml、lxml-html-clean 2个库，如果没有需要额外加上。

pip install lxml
pip install lxml-html-clean

2. 基本文章提取 

以下是一个简单的示例，展示如何使用newspaper库来提取一个网页上的新闻文章：

from newspaper import Article

url = 'https://example.com/some-news-article'
article = Article(url)

# 下载并解析文章
article.download()
article.parse()

# 输出文章标题和作者
print('Title:', article.title)
print('Authors:', article.authors)

# 提取关键词和摘要
article.nlp()
print('Keywords:', article.keywords)
print('Summary:', article.summary)

三、高级用法

对于更复杂的场景，比如批量处理多个URL或定制化爬虫行为，newspaper提供了更多的配置选项和API方法，例如设置不同的用户代理、调整下载超时时间、自定义解析规则等。

1. 批量处理多个URL

使用列表存储URL

首先，您可以将需要处理的多个URL存储在一个列表中，然后遍历这个列表，对每个URL进行处理。

示例代码

以下是一个示例代码，展示了如何批量处理多个URL：

from newspaper import Article

# 定义一个包含多个URL的列表
urls = [
    'https://example.com/article1',
    'https://example.com/article2',
    'https://example.com/article3',
]

def process_article(url):
    # 创建Article对象
    article = Article(url)
    
    # 下载并解析文章
    article.download()
    article.parse()
    
    # 提取关键词和摘要
    article.nlp()
    
    # 返回文章的相关信息
    return {
        'title': article.title,
        'authors': article.authors,
        'publish_date': article.publish_date,
        'text': article.text,
        'keywords': article.keywords,
        'summary': article.summary,
    }

# 存储处理结果
results = []

for url in urls:
    try:
        result = process_article(url)
        results.append(result)
        print(f"Processed {url}")
    except Exception as e:
        print(f"Failed to process {url}: {e}")

# 打印所有处理结果
for result in results:
    print(result)

2. 定制化爬虫行为

2.1 设置用户代理

为了防止被目标网站封禁，可以设置不同的用户代理（User-Agent）。

from newspaper import Config, Article

# 自定义Config对象
config = Config()
config.browser_user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'

# 使用自定义Config对象创建Article
article = Article(url, config=config)

2.2 调整下载超时时间

有时网络连接不稳定，可以设置更长的下载超时时间。

config.request_timeout = 30  # 设置请求超时时间为30秒

2.3 自定义解析规则

如果默认的解析规则不能满足需求，可以自定义解析规则。

from newspaper import clean_html

# 自定义HTML清理函数
def custom_clean_html(html):
    # 这里可以添加自定义的HTML清理逻辑
    cleaned_html = clean_html(html)
    return cleaned_html

# 使用自定义的HTML清理函数
article = Article(url, config=config)
article.set_html(custom_clean_html(article.html))
article.parse()

2.4 并行处理

为了提高处理效率，可以使用多线程或多进程来并行处理多个URL。

使用多线程
import threading
from newspaper import Article

def process_article(url):
    article = Article(url)
    article.download()
    article.parse()
    article.nlp()
    print(f"Processed {url}")

# 创建线程列表
threads = []

for url in urls:
    thread = threading.Thread(target=process_article, args=(url,))
    threads.append(thread)
    thread.start()

# 等待所有线程完成
for thread in threads:
    thread.join()
使用多进程
import multiprocessing
from newspaper import Article

def process_article(url):
    article = Article(url)
    article.download()
    article.parse()
    article.nlp()
    print(f"Processed {url}")

# 创建进程池
with multiprocessing.Pool(processes=4) as pool:
    pool.map(process_article, urls)

可以看到newspaper库不仅支持单个URL的处理，还可以方便地批量处理多个URL，并且提供了丰富的配置选项来定制化爬虫行为。

四、newspaper实战案例

1. 图片和视频下载

示例代码：

from newspaper import Article

url = 'https://example.com/some-news-article'
article = Article(url)

# 下载并解析文章
article.download()
article.parse()

# 下载图片
for image_url in article.images:
    response = requests.get(image_url)
    if response.status_code == 200:
        with open(f'images/{image_url.split("/")[-1]}', 'wb') as f:
            f.write(response.content)

# 下载视频
for video_url in article.movies:
    response = requests.get(video_url)
    if response.status_code == 200:
        with open(f'videos/{video_url.split("/")[-1]}', 'wb') as f:
            f.write(response.content)

print("Images and videos downloaded successfully.")

2. 关键词和摘要生成

示例代码：

from newspaper import Article

url = 'https://example.com/some-news-article'
article = Article(url)

# 下载并解析文章
article.download()
article.parse()
article.nlp()

# 输出关键词和摘要
print('Keywords:', article.keywords)
print('Summary:', article.summary)

3. 处理多语言文章

示例代码：

from newspaper import Article

url = 'https://example.com/some-news-article-in-spanish'
article = Article(url, language='es')  # 指定语言为西班牙语

# 下载并解析文章
article.download()
article.parse()
article.nlp()

# 输出文章信息
print('Title:', article.title)
print('Authors:', article.authors)
print('Publish Date:', article.publish_date)
print('Text:', article.text)
print('Keywords:', article.keywords)
print('Summary:', article.summary)

4. 保存文章到数据库

示例代码：

假设我们使用SQLite数据库来保存文章信息。

import sqlite3
from newspaper import Article

# 连接到SQLite数据库
conn = sqlite3.connect('articles.db')
cursor = conn.cursor()

# 创建表
cursor.execute('''
CREATE TABLE IF NOT EXISTS articles (
    id INTEGER PRIMARY KEY AUTOINCREMENT,
    title TEXT,
    authors TEXT,
    publish_date TEXT,
    text TEXT,
    keywords TEXT,
    summary TEXT
)
''')

def save_article_to_db(article):
    cursor.execute('''
    INSERT INTO articles (title, authors, publish_date, text, keywords, summary)
    VALUES (?, ?, ?, ?, ?, ?)
    ''', (
        article.title,
        ', '.join(article.authors),
        str(article.publish_date),
        article.text,
        ', '.join(article.keywords),
        article.summary
    ))
    conn.commit()

url = 'https://example.com/some-news-article'
article = Article(url)

# 下载并解析文章
article.download()
article.parse()
article.nlp()

# 保存文章到数据库
save_article_to_db(article)

# 关闭数据库连接
conn.close()

5. 处理RSS Feed

示例代码：

newspaper库本身不直接支持RSS Feed，但可以结合feedparser库来处理。

import feedparser
from newspaper import Article

# 解析RSS Feed
feed = feedparser.parse('https://example.com/rss.xml')

# 遍历每篇文章
for entry in feed.entries:
    url = entry.link
    article = Article(url)

    # 下载并解析文章
    article.download()
    article.parse()
    article.nlp()

    # 输出文章信息
    print('Title:', article.title)
    print('Authors:', article.authors)
    print('Publish Date:', article.publish_date)
    print('Text:', article.text)
    print('Keywords:', article.keywords)
    print('Summary:', article.summary)

6. 定期更新文章

示例代码：

使用schedule库来定期执行文章抓取任务。

import schedule
import time
from newspaper import Article

def fetch_and_process_articles():
    urls = [
        'https://example.com/article1',
        'https://example.com/article2',
        'https://example.com/article3',
    ]

    for url in urls:
        article = Article(url)
        article.download()
        article.parse()
        article.nlp()
        
        print('Title:', article.title)
        print('Authors:', article.authors)
        print('Publish Date:', article.publish_date)
        print('Text:', article.text)
        print('Keywords:', article.keywords)
        print('Summary:', article.summary)

# 每天早上8点执行
schedule.every().day.at("08:00").do(fetch_and_process_articles)

while True:
    schedule.run_pending()
    time.sleep(1)

newspaper库在处理新闻文章时的强大功能和灵活性。无论是单个URL的处理、多语言支持、图片和视频下载，还是批量处理和定期更新，newspaper都能提供简洁高效的解决方案。

五、常见问题及解决方法

使用newspaper库时，有一些常见的问题和注意事项需要特别留意，以确保您的应用程序能够稳定、高效地运行。以下是一些常见的问题及其解决方法：

1. 网络请求失败

问题描述：

  • 目标网站可能由于网络问题或服务器维护导致无法访问。
  • 请求超时或返回错误状态码。

解决方法：

  • 设置请求超时时间。
  • 捕获异常并重试。
from newspaper import Article
import requests

url = 'https://example.com/some-news-article'
article = Article(url)

try:
    article.download()
    article.parse()
    article.nlp()
except requests.exceptions.RequestException as e:
    print(f"Request failed: {e}")

2. 用户代理被封禁

问题描述：

  • 目标网站可能检测到大量来自同一IP的请求，从而封禁该IP。

解决方法：

  • 使用不同的用户代理。
  • 设置合理的请求间隔时间。
from newspaper import Config, Article

config = Config()
config.browser_user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
config.request_timeout = 30  # 设置请求超时时间为30秒

article = Article(url, config=config)
article.download()
article.parse()
article.nlp()

3. 文章内容解析不准确

问题描述：

  • 默认的解析规则可能无法完全适应某些网站的结构。

解决方法：

  • 自定义解析规则。
  • 使用BeautifulSoup等工具手动解析。
from newspaper import Article
from bs4 import BeautifulSoup
import requests

url = 'https://example.com/some-news-article'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')

# 手动提取文章内容
title = soup.find('h1').get_text()
text = soup.find('div', class_='article-body').get_text()

print('Title:', title)
print('Text:', text)

4. 大规模数据抓取

问题描述：

  • 大规模数据抓取可能导致目标网站服务器压力过大，甚至被封禁。

解决方法：

  • 合理安排请求频率。
  • 使用代理IP池分散请求来源。
  • 尊重网站的robots.txt协议。
import time
from newspaper import Article

urls = [
    'https://example.com/article1',
    'https://example.com/article2',
    'https://example.com/article3',
]

for url in urls:
    article = Article(url)
    article.download()
    article.parse()
    article.nlp()
    
    print('Title:', article.title)
    print('Text:', article.text)
    
    time.sleep(1)  # 每次请求后暂停1秒

5. 图片和视频下载失败

问题描述：

  • 图片或视频URL可能无效或被限制访问。

解决方法：

  • 捕获下载过程中的异常。
  • 检查URL是否有效。
import requests
from newspaper import Article

url = 'https://example.com/some-news-article'
article = Article(url)
article.download()
article.parse()

for image_url in article.images:
    try:
        response = requests.get(image_url)
        if response.status_code == 200:
            with open(f'images/{image_url.split("/")[-1]}', 'wb') as f:
                f.write(response.content)
    except requests.exceptions.RequestException as e:
        print(f"Failed to download {image_url}: {e}")

for video_url in article.movies:
    try:
        response = requests.get(video_url)
        if response.status_code == 200:
            with open(f'videos/{video_url.split("/")[-1]}', 'wb') as f:
                f.write(response.content)
    except requests.exceptions.RequestException as e:
        print(f"Failed to download {video_url}: {e}")

6. 关键词和摘要生成不准确

问题描述：

  • 自动生成的关键词和摘要可能不够准确。

解决方法：

  • 使用其他自然语言处理工具（如NLTK、spaCy）进行更精细的处理。
  • 调整newspaper库的NLP参数。
from newspaper import Article

url = 'https://example.com/some-news-article'
article = Article(url)
article.download()
article.parse()
article.nlp()

print('Keywords:', article.keywords)
print('Summary:', article.summary)

7. 存储和管理大量数据

问题描述：

  • 处理大量数据时，存储和管理可能会变得复杂。

解决方法：

  • 使用数据库（如MySQL、PostgreSQL、MongoDB）存储数据。
  • 定期备份数据。
import sqlite3
from newspaper import Article

conn = sqlite3.connect('articles.db')
cursor = conn.cursor()

cursor.execute('''
CREATE TABLE IF NOT EXISTS articles (
    id INTEGER PRIMARY KEY AUTOINCREMENT,
    title TEXT,
    authors TEXT,
    publish_date TEXT,
    text TEXT,
    keywords TEXT,
    summary TEXT
)
''')

def save_article_to_db(article):
    cursor.execute('''
    INSERT INTO articles (title, authors, publish_date, text, keywords, summary)
    VALUES (?, ?, ?, ?, ?, ?)
    ''', (
        article.title,
        ', '.join(article.authors),
        str(article.publish_date),
        article.text,
        ', '.join(article.keywords),
        article.summary
    ))
    conn.commit()

url = 'https://example.com/some-news-article'
article = Article(url)
article.download()
article.parse()
article.nlp()

save_article_to_db(article)

conn.close()

六、 最后

  • 使用newspaper进行网页抓取时，应当遵守目标网站的robots.txt协议，尊重版权和隐私政策。
  • 大规模的数据抓取可能对目标服务器造成压力，应合理安排请求频率，必要时应与网站所有者沟通获得许可。
  • 在处理非英文内容时，确保正确设置语言参数以提高提取准确性。

七、 参考文献

python新闻内容爬虫专用包newspaper详细教程
CDA数据分析师
01-08 4130
作者 | CDA数据分析师 1、介绍newspaper包 ​ Newspaper框架是Python爬虫框架中在GitHub上点赞排名第三的爬虫框架，适合抓取新闻网页。它的操作非常简单易学，即使对完全没了解过爬虫的初学者也非常的友好，简单学习就能轻易上手，因为使用它不需要考虑header、IP代理，也不需要考虑网页解析，网页源代码架构等问题。这个是它的优点，但也是它的缺点，不考虑这些会导致它访...
python newspaper_使用Newspaper3k框架快速抓取文章信息
weixin_39880337的博客
12-11 1170
一、框架介绍Newspaper是一个python3库,但是Newspaper框架并不适用于实际工程类新闻信息爬取工作，框架不稳定，爬取过程中会有各种bug，例如获取不到url、新闻信息等，但对于想获取一些新闻语料的朋友不妨一试，简单方便易上手，且不需要掌握太多关于爬虫方面的专业知识。这是 Newspaper 的github链接:https://github.com/codelucas/newspa...
[技术聚焦] 新闻爬取利器 —— Newspaper3k 深度解析与实战应用
gitblog_00096的博客
06-18 482
????[技术聚焦]???? 新闻爬取利器 —— Newspaper3k 深度解析与实战应用 去发现同类优质开源项目:https://gitcode.com/ ???? 一、项目简介 在信息爆炸的时代，新闻网站成为了数据挖掘的金矿，而要从这些复杂的网页结构中提取有价值的信息，一款强大的工具必不可少。Newspaper3k 就是这样一款旨在帮助开发者高效获取和整理网络新闻数据的Python库。自发布以来，它凭借其卓...
Python实战：能下载38种语言的模块——Newspaper
liaozp88的博客
04-06 949
Newspaper 是一个很棒的python库，用于提取和整理文章。它有以下的优点：多线程文章下载框架识别新闻网址从html提取文本从html提取顶部图像从html提取所有图像从文本中提取关键字自动提取摘要自动提取作者自动提取 Google 趋势词我们的文章到此就结束啦，如果你喜欢今天的Python 实战教程，请持续关注Python徐浪老师！
Newspaper3k —— 一个神奇的 Python 库
Trb401012的博客
01-27 1755
Newspaper3k 不仅可以帮助你抓取文章，解析出干净的文本，而且还能自动提取关键信息，如作者、发布日期、关键字等。更惊艳的是它还可以支持多种语言，从英文到中文，再到阿拉伯语等等，这一切都变得易如反掌。Newspaper3k 启发自 requests 库的简单性，并借助 lxml 的速度优势，成为了处理新闻抓取任务的优选库。虽然它支持 Python 2，但是强烈推荐您在 Python 3 环境下使用，以享受更稳定和更强大的功能。
Python Newspaper爬虫库
m0_38074612的博客
05-17 572
pip3 install newspaper3k 1.提取新闻标题，URL import newspaper url = 'https://sthj.sh.gov.cn/hbzhywpt1013/hbzhywpt1041/index.html' paper = newspaper.build(url, language="zh", memoize_articles=False) for article in paper.articles: print(article.title,article.ur
python爬虫的newspaper3k库用法
EaSoNgo111的博客
03-16 995
等属性获取新闻的标题、作者、发布时间、正文和关键词等信息。模块爬取新闻列表 如果需要爬取某个新闻网站的新闻列表，可以使用。属性获取新闻列表，并遍历每个新闻。对于每个新闻，我们使用。等属性获取新闻的标题、作者、发布时间、正文和关键词等信息。对象，指定要爬取的新闻网址和语言。对象，指定要爬取的新闻网址和语言。在上述代码中，我们首先创建了一个。方法下载新闻网页，并使用。在上述代码中，我们首先使用。方法下载新闻网页，并使用。
python爬虫智能解析之newspaper
Charley_Leo的博客
06-17 1599
最近抓取了某查新闻舆情维度的数据,业务需求做一个情感分析,需要抓取相关链接的正文(因某查抓下来的只有摘要),新闻舆情的链接已经抓下来了,但是如下图所示这么多网站:我总不能每个网站写一个爬虫抓正文吧,那不得累死!于是想起来之前听过的智能化解析,遂学习一番,现需求任务已完成,在此做个记录总结与分享.newspaper库分为Python2和Python3两个版本,Python2下的版本叫做newspaper,Python3下的版本叫做newspaper3k,Python2版本的不做说明,下面使用Python3版本
newspaper3k是Python 3高级文档中的新闻全文和文章元数据提取.zip
01-10
本文档所介绍的“newspaper3k”正是这样一个工具，它是专门用于Python 3环境下的高级文档处理库，特别适用于新闻全文和文章元数据的提取。 newspaper3k库的诞生，为开发者提供了一个便捷的手段，能够从网络上抓取...
在使用python第三方库newspaper3k时遇到SSLError
qq_22002157的博客
10-30 877
今天在写一个爬取新闻的爬虫时，遇到了SSLError。首先在获取具体新闻的资源地址的时候，我是用的requests库来做的，遇到了如下错误： requests.exceptions.SSLError: HTTPSConnectionPool(host=‘med.sina.com’, port=443): Max retries exceeded with url: /article_list_-...
Python-Newspaper可以用来提取新闻文章和内容分析
08-10
Newspaper可以用来提取新闻、文章和内容分析。使用多线程，支持10多种语言等。 作者从requests库的简洁与强大得到灵感，使用python开发的可用于提取文章内容的程序。
Python爬虫实战：全面提取新闻网站文章内容
11-24
Python语言提供的库如requests、BeautifulSoup和newspaper3k为自动化提取新闻内容提供了强大的支持。requests库用于发送网络请求获取网页内容；BeautifulSoup库用于解析HTML并提取所需信息；newspaper3k则专注于新闻...
Python新闻数据处理库news_embedder教程
weixin_35995661的博客
11-16 796
本文还有配套的精品资源，点击获取 简介：Python库 news_embedder-0.2.0-py3-none-any.whl 是一个针对新闻数据分析的Python工具包，它包含预编译的二进制包格式，支持快速安装。这个库专注于新闻数据预处理、文本嵌入、新闻分类、情感分析和推荐系统等关键功能。其0.2.0版本提供了改进的稳定性和特性，包括数据清洗、文本向量化、...
python newspaper_第74天：Python newspaper 框架
weixin_39602615的博客
12-11 756
by 程序员野客1 简介newspaper 框架是一个主要用来提取新闻内容及分析的 Python 爬虫框架，更确切的说，newspaper 是一个 Python 库，但这个库由第三方开发。newspaper 主要具有如下几个特点：比较简洁速度较快支持多线程支持多语言GitHub 链接：https://github.com/codelucas/newspaper安装方法：pip3 install n...
Newspaper库，一个新手也能快速上手的爬虫库
汉阳Hann's Home
03-23 5077
总的来说，Newspaper是一个非常适合初学者和新闻类爬虫需求的Python库。它简单易用，功能丰富，能够帮助用户快速地从新闻网站中提取所需信息。然而，对于更复杂的项目或者网站有强劲的反爬虫功能的话，可能会在处理过程中出现各种bug或者被目标网站直接拒绝访问或者的情况，此时就需要结合其他工具或框架来实现更稳定、更高效的爬取任务。
Python Newspaper3k 自动获取文章的 标题 和 内容
weixin_42544006的博客
03-13 1287
安装模块: pip install newspaper3k 文档: https://github.com/codelucas/newspaper import newspaper url = 'http://dqmzj.daqing.gov.cn/819/30749.html' new = newspaper.Article(url,language='zh') new.d...
Python---爬虫---智能解析---newspaper
weixin_41245276的博客
02-18 914
智能解析的深度学习切入方向 标题，一般它的字号是比较大的，而且长度不长，位置一般都在页面上方，而且大部分情况下它应该和 title 标签里的内容是一致的 正文，它的内容一般是最多的，而且会包含多个段落 p 或者图片 img 标签，另外它的宽度一般可能会占用到页面的三分之二区域，并且密度（字数除以标签数量）会比较大。 时间，不同语言的页面可能不同，但时间...
python newspaper,使用Python中的NewsPaper库将新闻文章爬到一个列表中吗？
weixin_36085931的博客
01-28 240
Dear Stackoverflow community!I would like to scrape news articles from the CNN RSS feed and get the link for each scraped article. This workes very well with the Python NewsPaper library, but unfortun...
用Python构建去中心化广告平台——区块链驱动的未来营销新模式
最新发布
Echo_Wish
04-07 1086
用户隐私泄露、广告投放的黑箱操作、中心化平台的过度控制，使得广告生态亟需去中心化的变革。去中心化广告不仅让广告商掌控自己的预算，也让用户能从观看广告中获益，最终实现更健康的广告经济。同时，可以修改广告状态，使广告下架或重新激活。让广告交易透明化，广告商与用户直接互动，从而优化广告投放体验。构建一个去中心化广告平台，让广告市场更加透明、公平、高效。，避免中心化服务器的宕机风险，同时保证内容不被随意修改。让用户观看广告后获得奖励，提高广告互动率。，这些都是未来广告去中心化发展的方向。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值