Python爬取新闻网站保存标题、内容、日期、图片等数据

最新推荐文章于 2024-06-08 11:00:00 发布
原创 最新推荐文章于 2024-06-08 11:00:00 发布 · 3.2k 阅读 · 43 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

本文介绍了如何使用Python 3.6和相关模块来爬取新闻网站的数据，包括标题、内容、日期以及图片。通过解析静态网页，将信息保存为PDF和CSV文件，图片则保存到本地。详细步骤包括确定目标网页、请求网页、解析数据和文件保存。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前言

本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

基本开发环境

  • Python 3.6
  • Pycharm
import requests
import parsel
import pdfkit
import csv
import threading

相关模块pip安装即可

确定目标网页

获取数据

  • 标题
  • 内容 保存成PDF
  • 日期
  • 图片 保存本地
  • 详情页url、日期、图片地址等等 保存csv

网站是静态网页，没有什么难度

 

详情页

同样是静态页面

 

网页源代码已经说明数据在什么地方了，利用相关的解析工具，对网页数据进行解析即可。

代码实现

  • 请求网页以及解析
def get_html(html_url):
    response = requests.get(url=html_url, headers=headers)
    return response

def get_pars(html_data):
    selector = parsel.Selector(html_data)
    return selector
  • 保存内容 PDF格式
html_str = """
<!doctype html>
<html lang="en">
<head>
    <meta charset="UTF-8">
    <title>Document
最低0.47元/天 解锁文章

200万优质内容无限畅学
Python爬虫实战：高效抓取新闻网站新闻标题与内容，深度解析爬虫开发与反爬虫对策
威哥说编程
06-16 1158
摘要： 本文介绍了利用Python爬虫抓取新闻网站数据的方法，涵盖请求发送、HTML解析、反爬虫策略及数据存储等核心步骤。通过Requests、BeautifulSoup和Selenium等工具，可高效提取新闻标题与内容，适用于舆情分析和热点追踪。针对反爬虫机制，文章提出代理池、请求间隔和多线程等优化方案。最终数据可存入CSV或MongoDB，为后续NLP分析提供基础。本文为开发者提供了新闻数据抓取的实用技术指南，助力大数据应用开发。
Python 爬虫实战：抓取新闻网站上的新闻标题和内容
2201_76125261的博客
11-26 2943
随着信息化的进展，新闻网站已经成为人们获取新闻和时事资讯的主要途径。许多新闻网站提供了丰富的内容，涵盖了社会、政治、科技、娱乐等多个领域。通过抓取新闻网站的内容，我们可以分析新闻的趋势，获取某一领域的最新动态，甚至为数据分析和机器学习提供数据支持。本文将详细介绍如何使用 Python 编写爬虫，抓取新闻网站上的新闻标题和内容。requests：发送 HTTP 请求，获取页面内容。：解析 HTML 页面并提取数据。Selenium：抓取动态加载的网页内容。新闻API。
python爬取新闻网站内容,python爬取新闻内容报告
2401_83157073的博客
02-29 3185
在命令行窗口下面 创建一个crawl爬虫模板（注意在文件的根目录下面，指令检查别输入错误，-t 表示使用后面的crawl模板），会在spider文件夹生成一个news163.py文件然后看一下这个‘crawl’模板和一般的模板有什么区别，多了链接提取器还有一些爬虫规则，这样就有利于我们做一些深度信息的爬取系统的介绍会在爬虫专项里面进行讲解，这里介绍一些基础性的可以用在这个项目里面的知识点,，正则表达式是由字符和操作符组成的，常见的语法如下图。
python爬取某新闻网页的标题、关键字和时间
weixin_69143858的博客
06-08 983
【代码】python爬取某新闻网页的标题、关键字和时间。
Python 给自己的博客做个目录，从网页中抓取标题和创建日期
汉阳Hann's Home
05-04 2167
1 C++ vector 删除和排序的相关函数 https://blog.youkuaiyun.com/boysoft2002/article/details/112895584 2 C++ ＜algorithm＞Sort()函数秒杀任何常用排序算法 https://blog.youkuaiyun.com/boysoft2002/article/details/113916668 3 Python tkinter库之Canvas 根据函数解析式或参数方程画出图像 https://blog.youkuaiyun.com/boysoft20...
Python爬取新闻网站保存标题、内容、日期、图片等数据(1)
2301_82241859的博客
04-21 808
{article}“”"html_path = ‘重庆新闻\’ + title + ‘.html’pdf_path = ‘重庆新闻pdf\’ + title + ‘.pdf’print(‘{}已下载完成’.format(title))
python爬取新闻网站内容findall函数爬取_Python爬取新闻网标题、日期、点击量
weixin_39560066的博客
12-05 629
最近接触Python爬虫，以爬取学校新闻网新闻标题、日期、点击量为例，记录一下工作进度目前，感觉Python爬虫的过程无非两步：Step1.获取网页url(利用Python库函数import urllib2)Step2.利用正则表达式对html中的字符串进行匹配、查找等操作自我感觉sublime text2编辑器真心好用，部署Python后不会像WingIDE、notepad++那样存在那么多头疼...
python爬取XLWB（含标题、日期、正文、点赞、评论、转发、图片等）
Yage的博客
05-03 968
利用python xpath爬取XLWB内容，包括作者、标题、正文、分页抓取、图片下载等
爬取新闻网站新闻列表的python程序
04-23
本程序可以爬取新闻网站的新闻列表，本代码以中国地质大学（武汉）官网为例，如果需要更换，可以直接更换baseURL，然后打开控制台分析代码结构，适当修改即可。
python爬取新闻网站标题内容_爬取新浪滚动新闻--每个详情页标题以及内容
weixin_39712969的博客
11-26 605
from lxml import etreeimport MySQLdbimport requestsconn = MySQLdb.connect(host='localhost', user='root', password='123456', port=3306, db='pap', charset='utf8')cursor = conn.cursor()headers={'cookie':...
用python爬取新闻_Python爬虫爬取新闻资讯案例详解
weixin_39848970的博客
11-20 464
前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。一个简单的Python资讯采集案例，列表页到详情页，到数据保存，保存为txt文档，网站网页结构算是比较规整，简单清晰明了，资讯新闻内容的采集和保存！应用到的库requests，time，re，UserAgent，etreeimport requests,time,refrom ...
python爬取新闻网站内容_Python3：爬取新浪、网易、今日头条、UC四大网站新闻标题及内容...
weixin_39956350的博客
11-20 623
from urllib importrequestimportrequestsimportjsonimporttimeimportmathimporthashlibimportrefrom bs4 importBeautifulSoupdefget_url(max_behot_time, AS, CP):url= 'https://www.toutiao.com/api/pc/feed/?cate...
Python3：爬取新浪、网易、今日头条、UC四大网站新闻标题及内容
weixin_30660027的博客
09-12 1281
Python3：爬取新浪、网易、今日头条、UC四大网站新闻标题及内容 以爬取相应网站的社会新闻内容为例： 一、新浪： 新浪网的新闻比较好爬取，我是用BeautifulSoup直接解析的，它并没有使用JS异步加载，直接爬取就行了。 ''' 新浪新闻：http://news.sina.com.cn/society/ Date：20180920 Author：lizm Descrip...
python爬虫——获取新闻标题
xiao_lxl的专栏
08-21 6022
打开要提取的新闻页面 右键-》审查元素（N）进入开发者界面 进入Network，选中recording network log（红色圆点），筛选 （蓝色漏斗），然后重新加载页面。选择doc，左下第一列即为所选目标。通过headers 和 Responses可以确认是不是我们所要选择的内容。 headers中 Request URL:https://news.sina.cn/2017-08-21/
【爬虫实践】爬取官方新闻标题、正文、时间
兴趣使然的创作者
01-16 5278
爬虫用的频率较少，每次使用都会手生，特此记录一次实战经历。 项目需求 要求爬取济南市政务网中“滚动预警”菜单中的文章，包括文章标题，文章正文，文章时间，并保存为txt文件。 项目分析 1、判断可爬取的内容 首先查看该网站的robots.txt文件，发现并不存在该文件。因此相关公开信息可正常爬取。 2、确定网页的加载模式 网页加载可分为静态加载和动态加载。 在网页中右键->选择查看源代码，即网页的静态代码。在网页中右键->检查，可查看浏览器当前渲染的内容。 若两者一致，则网页是静态加载。此时，.
python爬虫之抓取网页新闻标题与链接
热门推荐
Kingsley's Blog
06-09 1万+
用chrome的原生工具--检查，找查网页标题与链接对应的元素 可看到，大标题‘中兴与美商务部达成和解协议：支付10亿美元罚款’对应的网页元素是: &lt;h1 class="main-title"&gt;中兴与美商务部达成和解协议：支付10亿美元罚款&lt;/h1&gt; 所以选中 main-title 贴入代码： 获取新闻来源和时间: 用soup将时间和...
python爬取新闻网站
最新发布
12-17
在Python中爬取新闻网站通常涉及以下步骤： 1. **选择合适的库**：Pandas用于数据处理，BeautifulSoup或 lxml 用于解析HTML，requests 或者 Scrapy 可以发送HTTP请求抓取网页。 2. **发送请求**：使用 `requests.get()` 发送GET请求到新闻网站的网页链接，获取HTML源代码。 3. **解析HTML**：使用 BeautifulSoup 或 lxml 库解析HTML文档，找到包含新闻标题、链接、日期等元素的特定部分。 4. **提取数据**：遍历解析后的HTML结构，提取所需的信息，例如使用`.find_all()` 或 `.select()` 方法查找元素。 5. **存储数据**：将提取的数据组织成列表、字典或其他数据结构，然后保存到CSV、JSON、数据库或本地文件中。 6. **处理反爬机制**：注意遵守网站的Robots协议，可能需要模拟用户行为（如设置User-Agent、延迟请求等），以防止被网站封锁。 7. **异常处理**：添加适当的错误处理代码，以应对可能出现的网络错误、编码问题或页面结构更改。 8. **循环爬取**：如果新闻网站有多页，可以编写循环或递归逻辑来爬取下一页的内容。 9. **动态加载内容**：有些网站使用JavaScript动态加载内容，这时可能需要用到像Selenium这样的工具。 下面是一个简单的示例，展示了基本的爬虫流程： ```python import requests from bs4 import BeautifulSoup url = 'https://www.example.com/news' headers = {'User-Agent': 'Mozilla/5.0'} response = requests.get(url, headers=headers) if response.status_code == 200: soup = BeautifulSoup(response.text, 'lxml') articles = soup.select('.news-item') for article in articles: title = article.find('h2').text link = article.find('a')['href'] print(title, link) else: print(f"Failed to fetch data, status code: {response.status_code}") # 将数据保存至CSV或其他合适格式 ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值