使用Scrapy爬取股票数据

最新推荐文章于 2023-12-22 22:10:10 发布

原创

最新推荐文章于 2023-12-22 22:10:10 发布 · 1.6k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#python爬虫

本文通过实例代码介绍了如何使用Python的Scrapy框架抓取股票数据，代码中包含详细注释，适合初学者参考学习。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

直接上代码了，代码里面有注释，大家可以参考参考：

# -*- coding: utf-8 -*-
import scrapy
import time
import json
import os

class GupiaoSpider(scrapy.Spider):
    name = 'gupiao'
    start_urls = ['http://stock.10jqka.com.cn/']
    # 处理响应函数
    def parse(self, response):
        # print(response.text)
        a_list = response.xpath("//div[@id='rzrq']/table[@class='m-table']/tbody/tr/td[2]/a")
        # 获取股票简称和链接
        for text_href in a_list:
            text_name = text_href.xpath(".//text()").extract()[0]
            # print(text_name)
            href_url = text_href.xpath(".//@href").extract()[0]
            # print(href_url)
            time.sleep(3)
            yield scrapy.Request(href_url, callback=self.parse_data,
                                 meta={'text_name':text_name, "seindex":1})

    # 对每个股票的数据
    def parse_data(self, response):
        # print(response.meta["text_name"])
        # 想要获得的数据的页数
        seindex = response.