python爬取沪深所有股票数据并生成Excel文件

本文介绍如何使用Python爬取沪深股市所有股票的基本信息,包括股票代码、名称、最高价等,并将数据存储到Excel文件中。首先分析需求,接着选择股城网作为数据来源,利用python的requests和相关库实现爬虫,最后展示完整源码并提及参考的博客文章。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

爬取沪深所有股票数据并生成Excel文件

一、分析需求

1、对于沪深两市的各只股票,获取其:‘股票代码’, ‘股票名称’, ‘最高’, ‘最低’, ‘涨停’, ‘跌停’, ‘换手率’, ‘振幅’, '成交量’等信息;
2、将获取的信息存放在Excel文件中,股票信息属性作为表头,每只股票信息作为表格的一行,每个单元格存放一个信息。

#程序运行结果如下:
程序运行结果

二、分析需求并设计算法

1、确定爬取的网站
  选取网站的原则有以下三点:
  ①网站包含所有沪深股票信息;
  ②网站robots协议允许非商业爬虫;
  ③网站的源代码是脚本语言,而非JavaScript;
  综上三点,我们最终选取网站为:股城网
  
2、选择爬取的工具
  本例使用python爬取信息,并引用以下三方库:

三方库名称 功能简介及在本例中的作用
requests 用于http请求的模块,可以获取HTML;本例用于获取股城网HTML
BeautifulSoup4 解析、遍历、维护“标签树”(例如html、xml等格式的数据对象)的功能库;本例用于解析目标对象,获得股票信息。
re 有强大的正则表达式工具,允许你快速检查给定字符串是否与给定的模式匹配;本例用于查找匹配股票代码格式的字符串,提取股票代码。
xlwt 支持python语言对Excel表格的操作;本例用于存储爬取的信息
time time提供了一些处理日期和一天内时间的函数. 它是建立在 C 运行时库的简单封装;本例用于计算程序运行耗费时间。

3、实现步骤
  为实现需求,分以下三步实现:
  ①向爬取对象发送http请求,获取HTML文本;
  ②获取所有股票代码,存入列表,将用于生成单只股票URL。从股城网我们可以看到单只股票的网页URL格式为“https://hq.gucheng.com/股票代码/”,如平安银行的url为https://hq.gucheng.com/SZ000001/;
  ③对每只股票的网页进行爬取,并解析网页,将获取的信息存入字典中;
  ④将股票信息存入TXT文件中;
  ⑤将TXT文件转换为Excel。

三、完整源码展示

#CrawGuchengStocks.py
import requests
from bs4 import BeautifulSoup
import re     #引入正则表达式库,便于后续提取股票代码
import xlwt   #引入xlwt库,对Excel进行操作。
import time   #引入time库,计算爬虫总共花费的时间。
 

def getHTMLText(url, code="utf-8"):  #获取HTML文本
    try:
        r = requests.get(url)
        r.raise_for_status()
        r.encoding = code
        return r.text
    except:
        return ""
        
def getStockList(lst, stockURL):          #获取股票代码列表
    html = getHTMLText(stockURL, "GB2312")
    soup = BeautifulSoup(html, 'html.parser') 
    a = soup.find_all('a')      #得到一个列表
    for i in a:
        try:
            href = i.attrs['href'
### 使用 Python 进行网页数据抓取生成 Excel 文件 为了完成这一任务,通常会采用如下方法: #### 准备工作 安装必要的库是第一步操作。`requests` 库用于发起 HTTP 请求;`BeautifulSoup` 或 `lxml` 用来解析 HTML 文档;而 `pandas` 则方便地处理和存储数据Excel 表格。 ```bash pip install requests beautifulsoup4 pandas openpyxl ``` #### 编写爬虫脚本 下面展示了一个简单的例子,该实例展示了如何构建一个基本的爬虫框架,它能够访问指定 URL 提取所需的数据字段[^1]。 ```python import requests from bs4 import BeautifulSoup import pandas as pd def fetch_data(url): response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') items = [] for item in soup.select('.item'): # 假设每条记录在一个 class="item" 的 div 中 title = item.find('h2').get_text(strip=True) or '' price = item.find(class_='price').get_text(strip=True).replace('$', '') if item.find(class_='price') else '' items.append({ 'Title': title, 'Price': float(price), }) return items ``` 此函数遍历页面上的商品列表项,从中抽取标题与价格信息作为字典对象追加到列表里返回给调用者[^2]。 #### 数据清洗与转换 一旦获得了原始数据之后,则需对其进行清理以及结构化以便后续分析或可视化之用。这里假设已经得到了一批包含产品名称及其对应售价在内的记录集合。 ```python data = fetch_data('http://example.com/products') df = pd.DataFrame(data) print(df.head()) ``` 这段代码创建了一个 Pandas DataFrame 来容纳之前收集来的资料片段,打印出前几行以供预览确认其格式无误[^3]。 #### 导出为 Excel 文件 最后一步便是利用 Pandas 提供的功能将整理好的表格形式的数据集写出成为标准电子表格文件(.xlsx),从而便于分享交流或是导入其他应用程序进一步加工处理。 ```python output_file = './products.xlsx' with pd.ExcelWriter(output_file, engine='openpyxl') as writer: df.to_excel(writer, sheet_name='Sheet1', index=False) print(f'Data has been successfully written to {output_file}') ``` 上述过程实现了从网络上自动采集特定类型的公开可用资源,将其转化为易于管理的形式——即 Microsoft Office 所支持的标准文档类型之一:Excel 工作簿[^4]。
评论 11
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值