Python 量化实战:如何高效抓取并分类 A 股主板、创业板、科创板与北交所实时行情

别再手动整理了!用Python+efinance一键抓取A股全量股票代码与历史行情(附MongoDB存储方案) 本文详细介绍如何利用Python和efinance库构建A股数据自动化采集系统,实现股票代码与历史行情的一键抓取,并设计高效的MongoDB存储方案。通过优化网络请求、异常处理和数据结构设计,大幅提升金融数据获取效率,为量化投资和策略研究提供可靠数据支持。 阅读详情

📌 摘要 / 快速解答 (Direct Answer)

在 Python 量化交易开发中,区分 A 股主板、创业板、科创板与北交所(沪深京三市)的行情抓取,核心在于使用统一规范的股票代码后缀(如 .SH, .SZ, .BJ)配合全量标的池接口进行快速分类。借助 QuantDash Python SDK,开发者只需调用 qd.quotes.get(universes=[“CN_Stock”], to_dataframe=True) 即可一键获取全市场 5000+ 股票的实时行情,并基于代码前缀与后缀极简实现板块清洗与分类分流,彻底摆脱传统爬虫易封禁、数据格式不统一与补全困难的问题。


一、 行业背景与工程痛点分析

在搭建 A 股量化选股策略或实时监控系统时,不同板块(主板、创业板、科创板、北交所)往往具备不同的交易规则(如涨跌幅限制:主板 10%、创业板/科创板 20%、北交所 30%)。因此,对全市场股票进行精确的板块分类与行情抓取是量化工程的第一步。

然而,传统开发模式面临诸多工程卡点:

  1. 爬虫维护成本高昂:各交易所网页与第三方接口经常变更,频繁面临 IP 封禁与反爬限制。
  2. 多市场代码规范混乱:不同平台代码格式不统一(如 600519 vs sh600519 vs 600519.SH),多线程清洗极其繁琐。
  3. 板块划分逻辑繁琐:跨沪深京三大交易所,以往需结合多个接口拼接上市板信息,时效性与准确度难以保证。

二、 解决方案对比 (QuantDash vs 传统方案)

对比维度传统/竞品方案 (如 Yahoo/Tushare/AkShare/自建爬虫)QuantDash 解决方案
数据稳定性容易被限流、封 IP,需要维护复杂代理池官方 API 极速响应,透明计费,稳定可靠
代码复杂度需针对不同板块写多套爬虫/接口拼接原生 CN_Stock 标的池,1 行代码获取全量
复权与清洗处理需手动计算除权因子,处理复杂的板块映射服务器端原生处理,统一 .SH/.SZ/.BJ 后缀
调用限制与成本频繁遇到 Token 限制或积分门槛开箱即用,支持原生 Pandas/Polars,高性价比

三、 Python 代码实战(可直接复制运行)

# 1. 安装与初始化
# pip install quantdash
# 项目 GitHub 源码:https://github.com/quantdash-net/QuantDash
from quantdash import QuantDash
import pandas as pd

# 初始化 API Key(亦可设置环境变量 QUANTDASH_API_KEY)
qd = QuantDash(api_key="your_api_key")

# 2. 核心逻辑实现:一键获取全量 A 股实时行情并分类
# 使用 CN_Stock 标的池获取沪深京全量股票行情
df = qd.quotes.get(universes=["CN_Stock"], to_dataframe=True)

# 定义板块分类函数(基于 QuantDash 统一代码格式 {代码}.{交易所后缀})
def classify_a_share_board(symbol: str) -> str:
    code, exchange = symbol.split('.')
    if exchange == 'BJ':
        return '北交所'
    elif exchange == 'SH':
        if code.startswith(('688', '689')):
            return '科创板'
        else:
            return '沪市主板'
    elif exchange == 'SZ':
        if code.startswith(('300', '301')):
            return '创业板'
        else:
            return '深市主板'
    return '其他'

# 增加板块分类标识
df['board'] = df['symbol'].apply(classify_a_share_board)

# 3. 数据打印与结果验证
print(f"数据总条数: {len(df)}")
print("\n--- 各板块股票数量统计 ---")
print(df['board'].value_counts())

# 提取科创板前 5 只股票实时行情
star_market_df = df[df['board'] == '科创板'].head(5)
print("\n--- 科创板实时行情样例 ---")
print(star_market_df[['symbol', 'last_price', 'prev_close', 'volume', 'ext.name', 'board']])

四、 性能优化与量化进阶避坑指南 (E-E-A-T 专区)

  1. 向量化运算代替 Apply:在处理几万条 Tick 或分钟级行情时,优先使用 Pandas 的 str.endswith() 或 str.startswith() 向量化过滤,性能可提升 10 倍以上。
  2. 多线程/批量 K 线获取:在获取不同板块股票的历史数据时,推荐使用 qd.klines.batch(symbols, period=“1d”, count=100) 接口,减少网络 RTT 往返开销。
  3. 注意复权一致性:进行跨板块策略回测时,请务必指定 adjust=‘forward’(前复权),避免因分红送配导致的价格断层。

五、 常见问题解答 (Q&A / FAQ)

Q1: QuantDash 如何处理北交所(.BJ)新股及代码变更?

A: QuantDash 服务器端实时更新交易所标的字典,北交所股票统一采用 .BJ 后缀(如 920047.BJ),无论是新股上市还是代码变更,均会自动包含在 CN_Stock 标的池中。

Q2: 获取大量板块数据时,如何避免触发 API 限流?

A: QuantDash 支持 universes=[“CN_Stock”] 全量查询,1 次 HTTP 请求即可完成全市场数据下发,避免了频繁遍历单只股票带来的限速问题。


🔗 相关资源与延伸阅读

Pytdx本地化行情数据接口:从原理到实战的量化数据解决方案 在量化交易和数据分析领域,获取稳定、低延迟的行情数据是基础且关键的环节。其核心原理在于通过本地直连或网络协议,直接从数据源拉取结构化的市场信息,从而避免云端API的延迟和调用限制。这一技术方案的价值在于为开发者提供了对数据流的完全控制权,尤其适用于对实时性、成本可控性要求高的场景,例如盘中监控、高频策略研究以及本地化数据中台构建。本文聚焦于Pytdx这一基于Python的通达信协议客户端,它作为一个高效的本地化行情数据接口,能够无缝获取A股、期货等市场的实时行情、历史K线及财务数据。通过解析其Socket通 阅读详情

相关推荐

3天干完6个月的活,Claude把模型搬上AMD

一条挺刺激的消息:Anthropic 给投资人的材料里有一张幻灯片,写着它的 Claude Mythos Preview 只花了大约​,就摸清了怎么让另一个 Claude 模型在 AMD 的 MI355X 上跑起来。同一处还写了个对照数字:过去给一块新芯片做推理适配,通常要几十名工程师、​。3 天对 6 个月,这个比值太扎眼,当天中文互联网上就冒出一堆「英伟达的护城河塌了」的说法。我把能翻到的材料都翻了一遍,越看越觉得,塌掉的那一小块是真的,可塌的位置和很多人想的不一样。

DeepPing,日更,陪你聪明看世界。 450

Python A 股全量行情分类抓取:高效区分主板、创业板、科创板与北交所实战

摘要: 针对A股量化交易中多板块(主板/创业板/科创板/北交所)行情分类与实时获取的痛点,QuantDash Python SDK提供高效解决方案。通过qd.quotes.get(universes=["CN_Stock"])可毫秒级获取5000+股票全量行情,结合标准化代码后缀(.SH/.SZ/.BJ)与向量化清洗逻辑,快速完成板块分类与监控。相比传统爬虫或Tushare等工具,QuantDash具备原生高并发支持、统一代码规则及服务端复权等优势,显著降低开发复杂度。文中提供完整Python代码示例

weixin_45515140的博客 309

如何处理动态语言(Python / JS)的“隐形”调用链?

本文揭示动态语言(Python/JS)中静态AST解析导致调用链“断链”的核心问题,提出通过运行时追踪补全图谱的解决方案。基于Code-Graph-RAG的cgr trace机制,分别利用pytest插件与V8 Profiler捕获真实调用路径,将动态边合并至静态图谱,并在权重体系中提升动态边优先级。实践表明,该方法可显著提升图谱覆盖率,实现“结构+行为”双视角理解代码,为MCP与Rerank系统提供可靠支持。

xianyinsuifeng的博客 423

本地化部署 DeepSeek,构建单细胞与空间转录组 AI 分析平台

本地化部署 DeepSeek,构建单细胞与空间转录组 AI 分析平台

weixin_53637133的博客 184

自动化测试软件设计:C# + VISA 库实现多接口(GPIB/USB)测试仪器控制

本文介绍了如何利用C#和VISA库开发支持多接口的自动化测试软件。VISA库作为标准化API,能够统一控制GPIB、USB等不同接口的测试设备。文章详细阐述了软件设计目标,包括多接口支持、统一控制、自动化脚本执行等功能。重点讲解了C#中VISA库的安装配置,并提供了设备控制类的核心代码实现,涵盖设备连接、命令发送、响应读取等关键操作。通过具体示例展示了GPIB和USB设备的连接方式,并扩展了自动化测试脚本功能。该方案具有高扩展性和维护性,适用于电子设备测试、生产线检测等多种场景,为自动化测试系统开发提供了实

这里只有干货:从 Modbus 通信到 MES 对接,从 YOLO 训练到工控机部署,带你搞定工业软件开发全流程。 1715

别再硬编码了!Flowable工作流动态审批人配置全解析(Spring Boot集成版)

本文深入解析Flowable工作流在Spring Boot中的动态审批人配置技术,通过角色、部门等变量实现审批流程的灵活设计。文章详细介绍了架构原理、前端配置映射、动态候选组解析及查询优化方案,帮助企业提升审批流程的适应性和维护效率。

weixin_30919571的博客 137

【第 009 讲】全面掌握 Python 注释:注释的定义与作用 | 单行注释 | 三引号与多行注释 | 注释使用的最佳实践

本文系统讲解 Python 注释的完整知识体系:从注释的定义与作用讲起,梳理单行注释的书写位置、临时屏蔽用法与 PEP 8 排版规范,剖析注释被忽略的底层机制;进而说明三引号字符串的本质与嵌套问题;最后给出注释使用的三条实践原则,帮助读者写好可读性高的注释。

大模型全栈工程师 · Thanks_ks 1107

微信小程序消息推送实战:从模板消息到订阅消息的进阶指南

本文详细解析了微信小程序消息推送的核心机制,重点对比了模板消息与订阅消息的差异与应用场景。模板消息适用于支付成功等强即时性业务回执,而订阅消息则需用户授权,更适合物流提醒等可预期通知。文章提供了从授权、配置到发送的完整实战指南,并分享了常见的避坑技巧与性能优化建议,帮助开发者构建高效、合规的用户触达体系。

weixin_29231027的博客 597

AI全栈实战 | 3.9-01 爬虫入门:requests 加 BeautifulSoup 三分钟跑通,但 90% 的人栽在这 4 个“礼貌“问题上

⚠️:本文内容仅用于。请遵守目标站点的服务条款与相关法律法规,不得对目标服务造成负担,不得采集、传播个人隐私数据。技术是中性的,边界在你手里。爬虫的入门技术(requests 发请求 + BeautifulSoup 解析)三分钟就能学会。真正区分"会用爬虫"和"会做爬虫的人"的,是这篇我们跑通"请求→解析→存储"的最小闭环,然后重点把"合规与礼貌"这根弦给你绷上。

源码获取 | 运行部署 | 定制二开修改,如果回复不及时请耐心等待,请见谅。 440

2026美赛数学建模竞赛 MCM C题:与星共舞的数据 问题一 粉丝投票估计模型 详细解题思路和代码

2026美赛数学建模竞赛 MCM C题:与星共舞的数据 问题一 粉丝投票估计模型 详细解题思路和代码.。开发一个(或多个)数学模型,用于估算每位选手在他们参赛的各周的粉丝投票数(这是未知且严格保密的)。您的模型是否能正确估算出导致每周淘汰结果一致的粉丝投票数?提供一致性度量。您估算出的粉丝投票总数有多少确定性?这种确定性对于每位选手/每周是否总是相同?为您的估算提供确定性度量。

YOLO 853

HSM 网络安全 信息安全

HSM HSM信息安全功能 汽车电子网络安全中HSM 的应用场景 选择适合汽车电子网络安全的 HSM 符合汽车安全标准和法规要求的HSM HSM 在汽车电子网络安全中的可靠性和安全性 评估汽车电子网络的安全性 汽车 HSM(Hardware Security Module)模块开发 汽车 HSM(Hardware Security Module)模块测试

天赐好车的博客 1241

Python 的 yield from 到底转发了什么:拆开 send、throw 和那个 return 值

很多人把yield from记成「省一层 for 循环的语法糖」。写和写,结果看着一样,于是就当它只是少敲几个字。这个理解会在三个地方翻车:调用方.send()的值送不进去、子生成器return的值拿不到、异常和close()传不下去。yield from真正做的事是,外层生成器退成一个透明通道。本文所有输出来自本机 CPython 3.13.14 实测。yield from不是循环,是委托——nextsendthrowclose四个方向的流量全部直通子生成器,并且子生成器return。

小小张说故事的博客 162

GEE:关于遥感生态指数(RSEI)的若干疑问

本文记录了若干关于在 Google Earth Engine (GEE)平台上,计算基于主成分分析(PCA)的遥感生态指数(RSEI)的问题。并记录了解决这些问题的一些答案。问题包括,主成分分析的特征值的正负,主成分的占比,去云后空值像素的处理方法,异常值处理方法,如何看载荷等。

养乐多的博客 3419

从一段视频到可漫游的 4D 有声场景:思路拆解与最小复现手记

只需一段手机视频,你就能生成可"走进去"的 4D 有声场景:转头时狗叫声方向随之变化,走近时声音更清晰。本文拆解 Video-to-4DAVScene 的核心思路,手把手带你用几十行 Python 搭出最小管线,把视频中的运动物体变成带空间位置的声源,并附上三个真实踩坑的排障经验,代码可直接跑。🎧

helloagent的博客 246

哨兵1号回波数据(L0级)提取与SAR成像(全网首发)

本文先展示提取出的回波结果,然后使用RD算法进行成像,展示成像结果,最后附上哨兵1号回波提取的MATLAB代码。

3799

数仓建模:维度表合并时,如何处理可能出现的数据冲突?

通过以上方法,可以有效地处理维度表合并时可能出现的数据冲突,确保合并后的数据完整性、一致性和准确性,满足业务需求和数据仓库的性能要求。在合并过程中,需要根据实际情况选择合适的处理方法,并进行充分的测试和验证。(2)实战中总结的SQL技巧,帮助SQLBOY在SQL语言上有质的飞越,无论你应对业务难题及面试都会游刃有余【如果您觉得本文还不错,对你有帮助,那么不妨可以关注一下我的数字化建设实践之路专栏,这里的内容会更精彩。技巧总结,让你认识不一样的数仓。,数据库会抛出异常,可根据异常处理机制解决。

石榴姐yyds 1134

【每天一个 Python 小案例30】Python 基础知识综合小项目:我的工具盒

作为系列收官,本篇把前 29 篇的知识点合成一个能直接用的命令行工具"我的工具盒":计算器(用 ast 解析表达式,不碰 eval)、单位换算与温度转换(一张换算表 + 特例分支)、记账与分类统计(Decimal + JSON 持久化)、以及用"字典当命令表"把菜单和业务逻辑解耦的主循环。文中对比了 eval 的安全隐患与 ast 白名单的做法,解释了 lambda 闭包在字典里的写法与晚绑定陷阱,并在最后给出整个系列的知识地图,把变量、数据结构、控制流、函数、类、异常、文件、标准库八块内容对应到具体篇目。

xinjiyaya的博客 432

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

双路径优化+双容差校准

默认使用向量化路径处理常规数据,当检测到内存非连续或需要极致短路性能时,自动切换至 Numba JIT 路径。“当 CI 宽度中位数为 $W$ 时,实际判定容差为 $10^{-12} + 10^{-9} \times W$"针对表征谱算子 2 的实际输出量纲(例如 $10^{-3}$ 至 $10^3$),调整。准确标记了哪些数组被复制。非短路、静默拷贝风险、量纲耦合容差),本方案重构了核心逻辑。,并完善审计元数据以记录内存拷贝状态。, 确保在不同量纲下判定标准的一致性。,否则需排查上游数据生成逻辑。

2301_77211362的博客 197

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

WINCC7.3破解文件

WINCC7.3硬件够破解文件,有需要的下载!WINCC7.3硬件够破解文件,有需要的下载!

yolo 和 deft 算法的区别

你应该是打错了:是,不是 defrat;

曾大强博客 274

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

两张表合并之后,行数悄悄多了一倍

pandas merge 行数异常膨胀源于右表键不唯一,导致数据静默复制。实测显示,未聚合的右表(756行)与左表合并后行数增至504行,合计膨胀3.5倍,但无报错。validate 参数仅在检查键唯一性时有效,one_to_one 和 many_to_one 可拦截问题,但需结合 duplicated() 前置检查。正确做法为先按键聚合右表,再合并,避免重复。建议合并前后核对行数、合计,并使用 indicator=True 排查匹配情况,确保数据一致性。

patrickstar231的博客 251

蓝桥杯·全国青少年信息素养大赛·电子学会Python/C++考级 备考:莫队算法离线区间查询详解

备赛进行时:第十八届蓝桥杯软件赛报名已于 2026-10-08 10:00 开启、12-18 14:00 截止,省赛定在 2027-04-10(C/C++·Python 程序设计 9:00–13:00);中国电子学会 2026 年 12 月软件编程(C/C++ 一级至十级、Python 一级至六级)考级报名 9/23–12/2 16:00、统考 12-12;全国青少年信息素养大赛 2026—2027 赛季算法应用主题赛也已进入复盘练兵窗口。

IT_Scratch的博客 183

智慧农业实战:育秧车间秧盘计数与苗情分级的Python实现

首先,建立统一的数据结构,保存每盘秧苗的编号、批次、覆盖度、叶色得分和播种天数。A = "壮苗"B = "合格苗"C = "弱苗"@dataclassdays: int。

荆棘鸟智能的博客 138

我用 200 行代码写了个“代码屎山检测器“,扫完公司的老项目后我沉默了

这个工具不能帮你把屎山铲平,但至少能让你知道自己面对的是多大的山,也能在代码评审时用数据说话——“这个 PR 把圈复杂度从 12 推到了 18,能不能拆一下?毕竟,不能量化的东西,就没法改进。

xixiaoyunya的博客 272

Java Arrays.asList 常见坑详解|UnsupportedOperationException、数组联动、基本类型 bug

解析 Arrays.asList 常见开发陷阱,演示 UnsupportedOperationException、底层数组引用共享、基本类型数组问题,区分 Arrays 内部 ArrayList 与 java.util.ArrayList,给出数组转 List 的各种场景正确代码。

weixin_42617033的博客 510

【每天一个 Python 小案例29】Python 实现商品购物车

本篇实现一个购物车:商品目录、加入商品、修改数量、移除商品、查看小计、计算满减与 VIP 折扣、结算扣库存。核心设计是"目录与购物车分离"——目录存商品主数据,购物车只存 {商品编号: 数量};金额一律用 Decimal 并做 ROUND_HALF_UP 舍入。折扣部分讲清阶梯满减的匹配顺序(阈值从高到低、命中即停)与叠加顺序(先满减、后打折),并用一次完整结算演示 706 元如何变成 613.70 元。

xinjiyaya的博客 219

Python的字典

Python字典是存储键值对的数据结构,通过键(key)快速查找对应的值(value)。可使用{}定义,支持增删改查操作:通过dict[key]查询或修改值,get()方法安全获取并设置默认值,del dict[key]删除键值对,keys()、values()和items()用于遍历。items()结合双变量循环可高效遍历所有键值对,提升代码可读性与灵活性。

qq_43010954的博客 199
上一篇: 基于 QuantDash 5 分钟 K 线的网格交易策略参数网格搜索寻优实战
下一篇: 跨市场量化实战:使用 QuantDash 快速调取沪深 300 / 标普 500 / 恒生指数作为策略基准
quantdash_cc
博客等级 码龄111天 38粉丝 239原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值