Scrapy框架爬取网易新闻数据

已于 2023-12-18 14:11:06 修改
阅读量683 收藏 18
点赞数 8
文章标签： 爬虫
于 2023-12-15 20:25:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_48913697/article/details/134981610
版权

命令行创建Scrapy框架

scrapy startproject project_name

scrapy genspider spider_name request_url

经过上述命令后，会自动搭建如下图所示的框架：

搭建的框架中不包括news_data.csv，run.py文件，其中run.py用于调试scrapy框架临时建立的文件，代码如下：

其中红色框内指的是在spiders文件夹中要运行的wangyi.py文件

Spider

wangyi.py源码

from typing import Iterable
import scrapy
from scrapy import Request
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC


class WangyiSpider(scrapy.Spider):
    name = "wangyi"
    allowed_domains = ["news.163.com"]
    start_urls = ["https://news.163.com/"]
    def __init__(self):
        option = webdriver.ChromeOptions()
        option.add_argument('--headless')
        option.add_argument('user-agent='
                            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36')
        self.driver = webdriver.Chrome(option)

    def start_requests(self) -> Iterable[Request]:
        self.driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {
            'source': 'Object.defineProperty(navigator, "webdriver", {get:()=>undefined})'
        })
        self.driver.get(self.start_urls[0])
        wait = WebDriverWait(self.driver, 5)
        inputs = wait.until(EC.presence_of_all_elements_located((By.XPATH, '//div[@class="bd"]/div[contains(@class, "ns_area")]//a')))
        index_url = dict()
        for input in inputs:
            text = input.get_attribute('innerText')
            link = input.get_attribute('href')
            if text != '首页' and text != '数读' and text != '王三三':
                index_url[text] = link
            else:
                continue
        for text in index_url.keys():
            yield Request(index_url[text], meta={'model': text})

    def parse(self, response):
        pass

防止检测程序检测到selenium爬虫，导致屏蔽，使用CDP（Chrome Devtools Protocol，Chrome开发工具协议）可以解决这个问题

start_requests函数用于获取如下所有的跳转链接URL

注意获取指定节点元素的跳转链接URL时，因为HTML节点元素设置了过期时间，所以要先缓存至数据结构列表或字典，然后迭代返回列表或字典的URL。如果直接迭代返回节点元素的URL，那么在迭代过程中会因为超过过期时间，出现节点元素不存在的异常。

Item

items.py源码

import scrapy


class WangyinewsItem(scrapy.Item):
    # define the fields for your item here like:
    model = scrapy.Field()               #新闻模块
    title = scrapy.Field()               #标题
    comments_num = scrapy.Field()        #评论数
    title_link = scrapy.Field()          #标题链接
    img_link = scrapy.Field()            #图片链接
    comments_link = scrapy.Field()       #评论链接

定义新闻数据的模块、标题、标题链接、图片链接、评论数、评论链接

中间件

middlewares.py

import time
from selenium.webdriver.common.by import By
from scrapy.http import HtmlResponse
from items import WangyinewsItem
from lxml import etree


class DetailPageMiddleware(object):
    def process_request(self, request, spider):
        if request.meta['model'] == '国内':
            spider.driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {
                'source': 'Object.defineProperty(navigator, "webdriver", {get:()=>undefined})'
            })
            spider.driver.get(request.url)
            time.sleep(3)
            spider.driver.execute_script('window.scrollTo(0, document.body.scrollHeight)')
            time.sleep(3)
            spider.driver.find_element(By.XPATH, '//a[@class="load_more_btn"]').click()
            time.sleep(3)
            html = spider.driver.page_source

        elif request.meta['model'] == '国际' or request.meta['model'] == '军事' or request.meta['model'] == '航空':
            spider.driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {
                'source': 'Object.defineProperty(navigator, "webdriver", {get:()=>undefined})'
            })
            spider.driver.get(request.url)
            time.sleep(3)
            spider.driver.execute_script('window.scrollTo(0, document.body.scrollHeight)')
            time.sleep(3)
            html = spider.driver.page_source

        elif request.meta['model'] == '传媒科技研究院' or request.meta['model'] == '政务':
            spider.driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {
                'source': 'Object.defineProperty(navigator, "webdriver", {get:()=>undefined})'
            })
            spider.driver.get(request.url)
            for i in range(4):
                time.sleep(3)
                spider.driver.find_element(By.XPATH,
                                    '//div[@class="middle_part"]/a[contains(@class, "load_more_btn")]').click()
            html = spider.driver.page_source

        elif request.meta['model'] == '公益':
            spider.driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {
                'source': 'Object.defineProperty(navigator, "webdriver", {get:()=>undefined})'
            })
            spider.driver.get(request.url)
            for i in range(3):
                time.sleep(3)
                spider.driver.find_element(By.XPATH,
                                    '//div[@class="middle_part"]//a[contains(@class, "load_more_btn")]').click()
            html = spider.driver.page_source

        elif request.meta['model'] == '媒体':
            spider.driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {
                'source': 'Object.defineProperty(navigator, "webdriver", {get:()=>undefined})'
            })
            spider.driver.get(request.url)
            for i in range(3):
                time.sleep(3)
                spider.driver.find_element(By.XPATH,
                                    '//div[@class="content-left"]/div[@class="getMoreBox"]').click()
            html = spider.driver.page_source

        return HtmlResponse(url = request.url, body = html, request = request, encoding='utf-8')

class IndexPageMiddleware(object):
    def process_spider_output(self, response, result, spider):
        item = WangyinewsItem()
        if response.meta['model'] == '国内' or response.meta['model'] == '国际':
            title = response.xpath('//div[@class="ndi_main"]//div[@class="news_title"]//a/text()').extract()
            title_link = response.xpath('//div[@class="ndi_main"]//div[@class="news_title"]//a/@href').extract()
            img_link = response.xpath('//div[@class="ndi_main"]//img/@src').extract()
            comments_num = response.xpath('//div[@class="ndi_main"]//div[contains(@class, "share-join")]//'
                                          'span[contains(@class, "post_recommend_tie_icon")]/text()').extract()
            comments_link = response.xpath('//div[@class="ndi_main"]//div[contains(@class, "share-join")]/'
                                           'a/@href').extract()
            for i in range(len(title)):
                item['model'] = response.meta['model']
                item['title'] = title[i]
                item['title_link'] = title_link[i]
                item['img_link'] = img_link[i]
                item['comments_num'] = comments_num[i]
                item['comments_link'] = comments_link[i]
                yield item
        elif response.meta['model'] == '军事' or response.meta['model'] == '航空':
            title_links = response.xpath('//div[@class="ndi_main"]/div[contains(@class, "data_row")]//div[@class="news_title"]//a/@href').extract()
            for i in range(len(title_links)):
                spider.driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {
                    'source': 'Object.defineProperty(navigator, "webdriver", {get:()=>undefined})'
                })
                spider.driver.get(title_links[i])
                time.sleep(3)
                html = spider.driver.page_source
                html = etree.HTML(html)
                title = html.xpath('//h1[@class="post_title"]/text()')
                if not title:
                    continue
                title_link = title_links[i]
                img_link = html.xpath('//div[@class="post_body"]//img/@src')
                comments_num = html.xpath(
                    '//div[@class="post_top"]//a[contains(@class, "post_top_tie_count")]/text()')
                comments_link = html.xpath(
                    '//div[@class="post_top"]//a[contains(@class, "post_top_tie_count")]/@href')
                item['model'] = response.meta['model']
                item['title'] = title[0]
                item['title_link'] = title_link
                if img_link:
                    item['img_link'] = img_link[0]
                else:
                    item['img_link'] = 'zero'
                item['comments_num'] = comments_num[0]
                item['comments_link'] = comments_link[0]
                yield item
        elif response.meta['model'] == '传媒科技研究院' or response.meta['model'] == '政务' or response.meta['model'] == '公益':
            title_links = response.xpath('//div[@class="datalist"]/div[contains(@class, "data_row")]//div[@class="news_title"]//a/@href').extract()
            for i in range(len(title_links)):
                spider.driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {
                    'source': 'Object.defineProperty(navigator, "webdriver", {get:()=>undefined})'
                })
                spider.driver.get(title_links[i])
                time.sleep(3)
                html = spider.driver.page_source
                html = etree.HTML(html)
                title = html.xpath('//h1[@class="post_title"]/text()')
                if not title:
                    continue
                title_link = title_links[i]
                img_link = html.xpath('//div[@class="post_body"]//img/@src')
                comments_num = html.xpath(
                    '//div[@class="post_top_tie"]/a[contains(@class, "post_top_tie_count")]/text()')
                comments_link = html.xpath(
                    '//div[@class="post_top_tie"]/a[contains(@class, "post_top_tie_count")]/@href')
                item['model'] = response.meta['model']
                item['title'] = title[0]
                item['title_link'] = title_link
                if img_link:
                    item['img_link'] = img_link[0]
                else:
                    item['img_link'] = 'zero'
                item['comments_num'] = comments_num[0]
                item['comments_link'] = comments_link[0]
                yield item
        elif response.meta['model'] == '媒体':
            title_links = response.xpath('//div[@class="list_message"]//div[contains(@class, "news_one")]//div[@class="describe"]/h2/a/@href').extract()
            for i in range(len(title_links)):
                spider.driver.execute_cdp_cmd('Page.addScriptToEvaluateOnNewDocument', {
                    'source': 'Object.defineProperty(navigator, "webdriver", {get:()=>undefined})'
                })
                spider.driver.get(title_links[i])
                time.sleep(3)
                html = spider.driver.page_source
                html = etree.HTML(html)
                title = html.xpath('//h1[@class="post_title"]/text()')
                if not title:
                    continue
                title_link = title_links[i]
                img_link = html.xpath('//div[@class="post_body"]//img/@src')
                comments_num = html.xpath(
                    '//div[@class="post_top_tie"]/a[contains(@class, "post_top_tie_count")]/text()')
                comments_link = html.xpath(
                    '//div[@class="post_top_tie"]/a[contains(@class, "post_top_tie_count")]/@href')
                item['model'] = response.meta['model']
                item['title'] = title[0]
                item['title_link'] = title_link
                if img_link:
                    item['img_link'] = img_link[0]
                else:
                    item['img_link'] = 'zero'
                item['comments_num'] = comments_num[0]
                item['comments_link'] = comments_link[0]
                yield item

下载器中间件

process_request函数负责加载request的页面源代码，以‘国内’模块为例，网易新闻是通过JavaScript渲染的动态页面，所以需要使用selenium工具滑动竖向滑块，点击‘加载更多’，在页面源代码处显示加载好的数据，最后返回响应体。

爬虫中间件

process_spider_output函数负责解析下载器中间件返回的响应体，抓取新闻数据。

项目管道

pipelines.py

import csv

class WangyinewsPipeline:
    def __init__(self):
        self.f = open('news_data.csv', 'a', encoding='utf-8')
        headname = ['标题', '链接', '图像链接', '评论数', '评论链接', '新闻模块']
        self.writer = csv.DictWriter(self.f, headname)

    def process_item(self, item, spider):
        print(item)
        self.writer.writerow({'标题' : item['title'],
                              '链接' : item['title_link'],
                              '图像链接' : item['img_link'],
                              '评论数' : item['comments_num'],
                              '评论链接' : item['comments_link'],
                              '新闻模块' : item['model']})
        return item

    def open_spider(self, spider):
        self.writer.writeheader()

    def close_spider(self, spider):
        self.f.close()

初始化csv文件，将爬虫中间件抓取的数据以结构化的形式写入表格。

全局配置

settings.py

robots协议规定爬虫引擎允许爬取哪些页面，不允许爬取哪些页面。设置为False，表示爬虫程序不遵守该协议

设置下载器、爬虫中间件优先级，启用该中间件

设置项目管道优先级，启用该项目

数据处理

data_process.py

import pandas as pd

writer = pd.ExcelWriter('data.xlsx')
all_data = pd.read_csv('news_data.csv', encoding='utf-8', index_col=0)
head = ['国内', '国际', '军事', '航空', '传媒科技研究院', '政务', '公益', '媒体']
for index in head:
    data = all_data[all_data['新闻模块'] == index]
    data.to_excel(writer, sheet_name=index)
writer.close()

抓取的数据中，新闻模块包含了国内、国际、军事、航空、传媒科技研究院、政务、公益、媒体，还需要按照模块分别写入多个sheet

使用scrapy简单爬取网易新闻
weixin_59098415的博客
07-01 1414
基于scrapy对网易新闻进行爬取 对文章信息的解析方法
python爬网易新闻_python爬虫——基于scrapy框架爬取网易新闻内容
weixin_39941721的博客
12-21 554
python爬虫——基于scrapy框架爬取网易新闻内容1、需求【前期准备】2、分析及代码实现(1)获取五大板块详情页url(2)解析每个板块(3)解析每个模块里的标题中详情页信息1、需求爬取网易新闻的标题和内容通过网页新闻的首页解析出五大板块对应的详情页的url(可以直接爬取，没有动态内容)每一个板块对应的新闻标题都是动态加载出来的(动态加载)通过解析出每一条新闻详情页的url获取详情页的页面源...
根据关键词使用scrapy爬取今日头条网站新闻各类信息和内容页
10-10
在今日头条上输入关键词，爬取与关键词相关的新闻各类信息和内容页。
scrapy爬取新闻内容
lance～crazy
12-22 1799
Scrapy的简介与安装 Scrapy 是一种快速的高级 web crawling 和 web scraping 框架，用于对网站内容进行爬取，并从其页面提取结构化数据。 spider spider是定义一个特定站点（或一组站点）如何被抓取的类，包括如何执行抓取（即跟踪链接）以及如何从页面中提取结构化数据（即抓取项）。换言之，spider是为特定站点（或者在某些情况下，一组站点）定义爬行和解析页面的自定义行为的地方。 Xpath XPath 是一门在 XML 文档中查找信息的语言，XPath 可用来在 XM
基于Scrapy框架的新闻爬虫：Python实时获取热点资讯
最新发布
2501_91652317的博客
04-23 720
利用Scrapy的强大功能和灵活配置，结合实际需求进行扩展和优化，能够打造出高效、稳定的新闻爬虫系统，满足不同场景下对新闻资讯的采集和分析需求。这将创建一个名为news_crawler的Scrapy项目，项目目录结构包含news_crawler文件夹（内含项目配置文件）、spiders文件夹（用于存放爬虫代码）、items.py（定义数据模型）、pipelines.py（处理数据存储）和settings.py（项目全局配置）等。在spiders文件夹中创建新闻爬虫文件，如news_spider.py。
19. python爬虫——基于scrapy框架爬取网易新闻内容
STAR GAME
09-04 1874
python爬虫——基于scrapy框架爬取网易新闻内容1、需求【前期准备】2、分析及代码实现（1）获取五大板块详情页url（2）解析每个板块（3）解析每个模块里的标题中详情页信息 1、需求 爬取网易新闻的标题和内容 通过网页新闻的首页解析出五大板块对应的详情页的url（可以直接爬取，没有动态内容） 每一个板块对应的新闻标题都是动态加载出来的（动态加载） 通过解析出每一条新闻详情页的url获取详情页的页面源码，从页面源码中解析出新闻的内容 【前期准备】 创建工程文件：scrapy startprojec
Scrapy爬取网易新闻
Tudective的博客
03-24 1201
为了更加熟练的应用Scrapy，可以爬取一下网易新闻的导航栏各个模块的详情页内容试试手。
用Scrapy爬取一篇新闻
一枚小白的博客
04-14 1236
Scrapy简介 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。 Scrapy入门 主要完成以下几个步骤： 创建一个Scrapy项目 定义提取的Item 编写爬取网站的 spider 并提取 Item 编写 Item Pipeline 来存储提取到的Item(即数据) 创建项目： 在开始爬取之前，必须创建一...
基于scrapy框架爬取网易新闻源代码
weixin_50786211的博客
05-17 380
创建一个项目,该项目代码： import scrapy from selenium import webdriver from wangyiyunPro.items import WangyiyunproItem #调用item模块 class WangyiyunSpider(scrapy.Spider): name = 'wangyiyun' # allowed_domains = ['www.xxx.com'] #可允许通过的域名 start_urls = ['h.
毕业设计 - 基于python网易新闻scrapy爬虫数据分析与可视化大屏展示（包含演示视频、数据库文档）
04-04
原来已经用Python开发了新闻网站项目，这个项目进行了2次开发，加入基于Scrapy框架爬取网易新闻数据，爬取到的数据保存到mysql数据库里面，然后采用python后端语言进行各种数据分析，将分析的结果在前端用echarts...
Scrapy框架：爬取网易新闻四大板块数据
weixin_43037350的博客
08-19 1312
简介：本文主要记录了学习Scrapy框架的成果，以及Selenium模拟浏览器和SQLite数据库的简单应用。 文章目录前言一、Scrapy是什么？二、拓展知识（Selenium、SQLite）三、具体步骤1.spider.py文件2.items.py文件3.middlewares.py文件4.pipelines.py文件5.settings.py文件6.run_spider.py文件四、结果展示总结 前言 需求：利用Scrapy框架爬取<网易新闻>四大常用板块（国内、国际、军事、无人机）首
使用scrapy和selenium结合爬取网易新闻内容
06-09
使用scrapy和selenium结合爬取网易新闻内容
Scrapy 爬取新闻
cc2415的博客
07-13 334
使用scrapy爬取新闻 #Item class AifranItem(scrapy.Item): # define the fields for your item here like: img = scrapy.Field() title = scrapy.Field() url = scrapy.Field() date = scrapy.Field(...
Scrapy爬取新闻
weixin_45100257的博客
07-30 332
Scrapy爬取新闻 源码：importscrapy importjson classDgcSpider(scrapy.Spider): name=‘dgc’ defstart_requests(self): dictions=[ {‘url’:‘http://nh.cnnb.com.cn/system/2013/07/02/010647240.shtml’}, ] fordictionindictions: yieldscrapy.Request( url=diction[‘url’], callback
Scrapy框架爬取新闻！
qq_47828130的博客
10-05 779
scarpy框架，提高爬虫效率！
Scrapy实战，利用Scrapy简单爬取新闻并将内容储存
weimingchao的博客
05-21 1291
工欲善其事，必先利其器 首先要先安装好scrapy框架包，参考https://blog.youkuaiyun.com/m0_46202060/article/details/106201764 1.Scrapy框架的基本操作 使用Scrapy框架制作爬虫一般需要以下四个步骤： （1）新建项目：创建一个新爬虫项目 scrapy startproject *** （2）明确目标：明确要爬取的目标 scrapy genspider 爬虫名称 “爬虫域” （3）制作爬虫：制作爬虫，开始爬取网页 scrap.
使用Scrapy对新闻进行爬虫（零）
chensidney‘s blog
09-01 3573
Scrapy学习笔记目标使用Scrapy爬虫框架对获取网站新闻数据。爬虫目标网站：http://tech.163.com 提取内容： url 新闻地址 source 新闻来源 title 新闻标题 editor 新闻编辑 time 新闻时间 content 新闻正文内容 内容存储方式： 文件 数据库 代码 爬虫框架文件： scrapy star
scrapy与selenium结合爬取网易新闻
SpringBears的博客
04-21 390
# -*- coding: utf-8 -*- import scrapy from selenium import webdriver from wangyiPeo.items import WangyipeoItem class WangyiSpider(scrapy.Spider): name = 'wangyi' # allowed_domains = ['www.xxx...
scrapy爬取网易新闻
11-01
Scrapy是一个Python编写的开源网络爬虫框架，可以用于抓取网站并从中提取结构化的数据。下面是使用Scrapy爬取网易新闻的流程： 1. 创建一个Scrapy项目：在命令行中输入“scrapy startproject 项目名”。 2. 创建一个爬虫文件：在命令行中输入“scrapy genspider 爬虫名 网站域名”。 3. 在爬虫文件中编写代码：包括设置起始URL、解析网页、提取数据等。 4. 运行爬虫：在命令行中输入“scrapy crawl 爬虫名”。 5. 存储数据：可以使用管道将数据存储到数据库或文件中。 对于网易新闻，可以通过以下步骤进行爬取： 1. 设置起始URL为网易新闻首页。 2. 解析网页，获取新闻列表页的URL。 3. 进入新闻列表页，解析网页，获取每篇新闻的URL。 4. 进入每篇新闻的URL，解析网页，提取新闻标题、正文、发布时间等信息。 5. 使用管道将数据存储到数据库或文件中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值