scrapy爬取csdn搜索文章，并将文章链接等信息保存到csv文件

最新推荐文章于 2022-05-27 21:07:04 发布

我永远喜欢希露菲叶特

最新推荐文章于 2022-05-27 21:07:04 发布

阅读量430

点赞数

分类专栏：学习记录文章标签： python

本文链接：https://blog.youkuaiyun.com/qq_42405558/article/details/114013975

版权

本文介绍了如何使用Python的Scrapy框架，分析优快云的搜索接口，获取以‘java’为关键字的文章链接及其他相关信息，并将数据导出到CSV文件。首先分析接口，然后创建Scrapy项目，编写爬虫代码，实现数据抓取和处理，最后配置爬虫的设置。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

首先分析网页接口，在搜索框搜索关键字java后，在network中查看接口，可以找到这个接口
在这里插入图片描述
接口中的返回值即是我们需要的数据，我们就不用去分析网页html代码了。

在这里插入图片描述
创建项目

scrapy startproject  csdnSpider

创建爬虫

scrapy genspider search_spider "csdb.net"

爬虫代码

import json

import scrapy
from csdnSpider.items import CsdnspiderItem
import re


class searchSpider(scrapy.Spider):
    name = 'search_spider'
    # allowed_domains = ['youkuaiyun.com']
    # start_urls = ['http://youkuaiyun.com/']
    rec=re.compile(r'<em>|</em>')

    url='https://so.youkuaiyun.com/api/v2/search?q=python&t=all&p={}&s=0&tm=0&lv=-1&ft=0&l=&u=&platform=pc'

    def start_requests(self):
        #开启多个线程 爬取多页
        for i in range(1,5,1):
            url=self.url