python3 爬虫抓取股市数据

最新推荐文章于 2025-03-02 00:10:53 发布

Python小子

最新推荐文章于 2025-03-02 00:10:53 发布

阅读量4.1k

点赞数 3

CC 4.0 BY-SA版权

分类专栏： python3 文章标签： python爬虫正则表达式简易爬虫

本文链接：https://blog.youkuaiyun.com/weixin_43883022/article/details/87934030

python3 专栏收录该内容

7 篇文章

订阅专栏

本文介绍了一种使用Python3进行股市数据抓取的爬虫实现方法，详细步骤包括URL分析、页面数据解析及数据提取。文章通过实例展示了如何构建User-Agent池防止反爬，以及如何通过正则表达式抓取特定数据。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

python3 爬虫抓取股市数据

爬虫抓取数据的一般步骤

	1、确定需要抓取的网站
	2、分析url，找到url的的变化规律
	3、分析页面的数据
	4、获取页面数据
	5、提取需要爬取的数据
	6、写入数据库或写入文件

代码

import requests
import random
import re

# 创建 User-Agent 池
UA_list = [{"User-Agent":"Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36"},
           {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0"},
           {"User-Agent":"Opera/9.80 (Windows NT 6.1; U; zh-cn) Presto/2.9.168 Version/11.50"}]


def get_url():
    '''拼接url'''
    try:
        shares_id = input("请输入股票代码：")
        year = input("请输入年份：")
        season = input("请输入季度：")
        url = "http://**********/trade/lsjysj_%s.html?year=%s&season=%s" % (shares_id, year, season)
    except:
        pass
    return url


def get_page(url):
    '''获取网页数据'''
    ua = random.choice(UA_list)  # 随机获取User-Agent，防止对方反爬
    response = requests.get(url, ua)
    if response.status_code == 200:
        return response.text
    return 0


def parse_page(html):
    '''分析网页数据'''
    regular = re.compile(r"<tr [\s\S]*?><td>([\s\S]*?)</td><td [\s\S]*?>([\s\S]*?)</td><td [\s\S]*?>([\s\S]*?)</td><td [\s\S]*?>([\s\S]*?)</td><td [\s\S]*?>([\s\S]*?)</td>")
    price_list = re.findall(regular, html)
    # 正则表达式获取需要的股票价格，包含当天开盘价，收盘价，最高价和最低价
    for price in price_list:
        print(price)
        

while True:
    url = get_url()
    page = get_page(url)
    if page:
        parse_page(page)
        break
    else:
        print("未找到相应股票，请重新输入")