[Python爬虫]Scrapy框架爬取网易国内新闻

最新推荐文章于 2024-03-24 11:44:16 发布

原创

最新推荐文章于 2024-03-24 11:44:16 发布 · 2k 阅读

10 ·

CC 4.0 BY-SA版权

文章标签：

#scrapy #python #爬虫

本文详细介绍了如何运用Python的Scrapy框架来爬取网易网站的国内新闻。从启动文件main.py开始，执行spider文件中的爬取逻辑，接着定义items文件以结构化数据，设置settings.py配置参数，最后通过pipelines.py处理并存储爬取的数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

启动文件main.py

from scrapy.cmdline import execute

execute('scrapy crawl wangyi'.split())

执行spider文件下的爬取文件

# -*- coding: utf-8 -*-
import scrapy,re
from ..piaot import *       #导入自定义包
from ..items import wangye_mysql


class WangyiSpider(scrapy.Spider):
    name = 'wangyi'
    allowed_domains = ['news.163.com']

    # 初始化
    def start_requests(self):

        # 输入页数
        ye=int(input('请输入页数：'))

        # 循环页数
        for i in range(1,ye+1):

            if i == 1:

                url='http://temp.163.com/special/00804KVA/cm_guonei.js?callback=data_callback'

            else