只要4秒钟!用Python 获取上证指数34年的历史日线数据!

python爬取股票数据,以上证指数为例,可以爬取任何股票,保存为temp.csv文件 python爬取股票数据,以上证指数为例,可以爬取任何股票,保存为temp.csv文件。 阅读详情

大家好,我是菜哥,这是我们量化系列教程的内容,如果已经订阅了我们小册的同学,可以不用看了。

我的小册:(小白零基础用Python量化股票分析小册) ,原价199,限时特价39,满100人涨10元。

做量化就是要研究数据,数据是量化的基石,没有数据就好比巧媳妇无米之炊,市场有很多第三方的工具获取,但是都是要钱,如何才能不花钱直接拿到某一支股票的历史的所有数据呢,而且很快。最近发现腾讯的财经网站可以获取,比如上证指数只要4秒钟就可以获取34年的历史数据,还是非常爽的。

我们看一下效果,下面是上涨指数的历史数据,一共有8079个交易日的数据

3226af8321b827a0d13537b07ed6c5e9.png

下面给大家讲一下,我是如何爬取这个数据的!首先打开腾讯证券首页,然后选一个股票,比如我们这里选择00001 上证指数来看一下行情,这里有分时,日线,周k,月k ,以及分钟级别的数据。

cc6176ade0fbf94ee8fb8d3beed8564c.png

接着我们点击日k数据,因为我们主要是研究日线级别的行情,然后用chrome浏览器打开查看,进行网站内容的深入分析,我们对里面的请求进行一一分析,找到关键的url 请求,最后被我发现了,原来是在这里:

26f59db220d6f5cda798b77db8b7aed2.png

上面的红色框就是关键的url 请求,它会拿到所有的历史的日线级别的数据,我们看一下它的payload请求结果就知道了。

78b1e33b2c93cf8239f3eaaa3d1a18ea.png

可以看到这里列出了很多日期,里面都是日线级别的K线数据,我们点进去看一下

fecf1c32fa7a8196efca764be736cb58.png

这些其实就是对应我们的 股票k线里面的  '交易日期', '开盘价', '收盘价', '最高价', '最低价', '成交量', '成交额' 这些关键的值。分析完毕之后,我们只要构建一个简单的python代码就能轻松获取数据。

f776a4a035f8514ba646dc4b06524ee0.png

我们通过urlopen去简单的爬取这个网页上的k线数据,然后把这个content喂给一个handle_content去数据清洗一下,就可以得到这个df。

6c6df50ae0c7c67355407029b44bfeb7.png

上面是2023年的数据,获取100根,以此类推,我们可以获取200,300根数据,然后循环爬取1990-2024每一个年份的数据就可以搞定所有的数据,然后把每一年的数据拼接起来就是整个的数据了。

其他的股票数据也是类似的,比如茅台的20几年历史数据也是分分钟就可以获取了。

9c917e06aa2c252a551fa1327f0d8bc7.png

拿到数据之后,我们可以分分钟画出k线图来(具体怎么画,我们的量化小册都有详细的介绍)

571cb2a526f7c4ca9f86fb9fa1cc7db1.png

上图显示茅台的日线历史数据从1990年到2024年。如果想看某一段时间的也可以通过x轴放大功能来看一下,比如我们看一年的数据:

237a10660af84715c8bb4c6589982e38.png

这个是近1年的k线数据,跟券商软件上的k线都是一样的,限于篇幅就不具体展开了,有兴趣的可以自己研究一下。

我们小册里面会有完整的代码和详细的教程,目前已经写了37章了,有兴趣的也可以加入我们(详细wx:coder_v5) 务必备注来意。

另外今晚还有一个福利抽奖(包邮送书3本,都是精品好书!),有兴趣的赶紧来

1c9967f57fcc7b5786e26958fad790d1.jpeg

最后推荐一下我们团队写的量化小册的内容,38篇内容!从Python安装,入门,数据分析,爬取股票基金的历史+实时数据,以及如何写一个简单量化策略,策略回测,如何看资金曲线统统都有介绍!非常超值!

欢迎订阅:原价199 早鸟价39(满100人涨10元)。现在的价格非常非常低,只要2杯奶茶,就可以终身订阅+全套课程源码,还有永久陪伴群。48小时无理由退款,放心食用!

9d8421125227ea11796592b38d07fc42.png

推荐阅读:
入门: 最全的零基础学Python的问题  | 零基础学了8个月的Python  | 实战项目 |学Python就是这条捷径

干货:爬取豆瓣短评,电影《后来的我们》 | 38年NBA最佳球员分析 |   从万众期待到口碑扑街!唐探3令人失望  | 笑看新倚天屠龙记 | 灯谜答题王 |用Python做个海量小姐姐素描图 |碟中谍这么火,我用机器学习做个迷你推荐系统电影

趣味:弹球游戏  | 九宫格  | 漂亮的花 | 两百行Python《天天酷跑》游戏!

AI: 会做诗的机器人 | 给图片上色 | 预测收入 | 碟中谍这么火,我用机器学习做个迷你推荐系统电影

小工具: Pdf转Word,轻松搞定表格和水印! | 一键把html网页保存为pdf!|  再见PDF提取收费! | 用90行代码打造最强PDF转换器,word、PPT、excel、markdown、html一键转换 | 制作一款钉钉低价机票提示器! |60行代码做了一个语音壁纸切换器天天看小姐姐!|

【Python】psutil系统信息获取 参考官方文档:psutil是一个开源且跨平台(http://code.google.com/p/psutil/)的库,能够轻松实现获取系统运行的进程和系统利用率(包括CPU、内存、磁盘、网络等)信息。它主要应用于系统监控,分析和限制系统资源及进程的管理。它实现了同等命令行工具提供的功能,如ps、top、lsof、netstat、ifconfig、who、df、kill、free、nice、ionice、iostat、iotop、uptime、pidof、tty、taskset、pmap等。... 阅读详情

相关推荐

车载LIN总线避坑指南:主从节点通信失败的5个常见原因及解决方案

本文深度解析车载LIN总线主从节点通信失败的五大常见原因,涵盖物理层信号异常、调度表冲突、LDF配置错误、节点状态机缺陷及环境干扰。重点剖析了LDF文件配置不一致、波特率不匹配等关键问题,并提供了从示波器波形分析到软件配置检查的完整实战排查路径,帮助工程师高效定位并解决LIN通信故障。

g9h0i1的博客 1250

python获取上证指数历史数据(简易 免费)

【代码】python获取上证指数历史数据(简易 免费)

qq_55285829的博客 5768

深度强化学习算法PPO训练Pendulum

returnadv = 0print('状态空间维度:', state_n)print('动作空间维度:', action_n)steps = []if done:breakif done:breakelse:steps = []if done:break。

weixin_43336108的博客 808

用Python写了一个实时获取上证指数的利器

Python获取实时股票数据利器大家好,我是老表。今天的这篇文章,我将通过几行代码教大家如何实时获取上证指数、深证成指以及其他任意股票数据,并实现一些简单的自动化监控操作。最近股市很火爆,从9月23日到昨天(7个工作日),上证指数从2735点涨到了3489点,涨幅惊人。虽然我们不一定亲自下场参与,但市场数据还是要第一时间掌握。因此,今天我们来实现以下两个功能:实时获取股票数据并发送到邮箱;异常监控...

简说Python的博客 4239

HBF凭什么能挑战HBM?

最近AI圈聊得最多的,除了大模型迭代,就是“算力瓶颈”。大家都知道GPU不够用、HBM抢疯了,但很少有人注意到,存储层正在酝酿一场革命——高带宽闪存(HBF)。今天就结合HBM之父Joungho Kim教授的最新观点,跟大家好好盘盘这门技术:它不是HBM的替代品,却可能重塑AI推理的游戏规则,甚至在2038年超越HBM市场规模。先澄清一个核心认知:HBF不是凭空冒出来的新技术,而是站在HBM肩膀上的“优化款”。

存储随笔 2130

从零开始之stm32之CAN通信

CAN通信极简教程(小白友好版),从小白的视角了解并实现简单的STM32F103的CAN通信,直接上手。

qq_30993593的博客 1306

Python爬虫案例:简单获取股票、指数、三大报表数据

爬取股票、指数和三大报表数据的目的和意义在于获取金融市场和上市公司的实时和历史数据,以供进一步分析、研究和决策。通过爬取股票数据,我们可以追踪股票价格的变化和波动,识别潜在的投资机会和风险,从而进行有效的股票交易。爬取指数数据可以帮助我们了解整个市场的走势和表现,监测市场整体风险和趋势,为资产配置和投资决策提供重要参考。

celiaweiwei的博客 1万+

【零基础学习CAPL】——弹窗信息提示

不用手动制作Panel窗口,直接使用CAPL脚本实现弹窗提示。//没有wait超时,等待测试人员确认//有wait超时,对话框在超时后自动终止//有wait超时,可以显示一个资源,即对话框可以显示额外的信息。/*参数说明text:显示在弹窗中的内容,长度限制在4096字符timeout:弹窗自动结束的时间,单位:ms。若为0,则无超时控制heading:对话框文本上方的标题。字符串最大长度限制在256个字符。resource:URL或文件路径。字符串的最大长度是有限的(512个字符)。

LOVE135149的博客 264

python:以上证指数为例,随机漫步

以上证指数为例,随机漫步,随机游走。stock_random_walk.py 不可相信随机数据。

belldeep的专栏 426

第95节:多模型多卡推理管理

多模型推理:在同一硬件平台上同时部署多个不同或相同的深度学习模型,满足多任务需求。多卡推理:利用多块 GPU 资源,提升推理吞吐量与并发能力。目标:合理分配 GPU 资源,实现高效、低延迟的推理服务。

yumeiguo的博客 218

【Mode】Mode expansion monitors

对于宽带仿真,因为被支持的模式可能是波长的函数,因此,推荐在波长范围内增加频率的采样点数量去计算支持的波导模式分布或者光纤模式分布。对于宽带仿真,如果在被计算模式上的频率点的数量与通过 frequency-domain monitors 被测量的频率点的数量不匹配,这种情况是正常的。Mode expansion monitors 对于仿真偏振转换器是十分有用的,比如,在偏振转换器中,当你想要提取从输入模式到输出模式的转换效率,或者提取一个装置的 S 参数。给出了进入到被选择模式中的合透射率,

u011699626的博客 2761

再见爬虫!一行Python代码获取A股26年历史数据,实时数据,ETF基金,可转债!...

????我的小册 40章教程:(小白零基础用Python量化股票分析小册) ,原价199,早鸟价39,满100人涨10元。大家好,我是菜哥!前面我们讲了很多关于获取股票数据的方法(只要4秒钟!用Python 获取上证指数34年的历史日线数据!),比如有免费的爬虫的方法,我们爬取东方财经网站的股票数据,爬新浪的股票的数据,但是这个都太复杂了,对于很多没有编程基础的小白来说,学习成本太高。(编程老鸟忽略哈)...

cainiao_python的博客 3583

YOLOv10改进 | 代码逐行解析(三) | YOLO中的Mosaic增强详解(新手入门必读系列)

本文给大家带来的是YOLOv10中的Mosaic增强代码的详解,可能有部分人对于这一部分比较陌生,有的读者可能知道Mosaic增强但是不知道其工作原理,具体来说Mosaic增强就是指我们的数据集中的图片在输入给模型之前的一个处理过程(我们的图片并不是直接就输入给模型了,大家的训练结果中的结果检测图片大家可以看到数据集中多个图片会组合在一起这就是简单的Mosaic增强),下面我就来讲解一下其在YOLOv10中工作原理和代码定义,下面图片为一个Mosaic增强后的图片。​。

Snu77的博客 2077

如何用Python爬取全部ETF基金实时数据!

????我的小册 45章教程:(小白零基础用Python量化股票分析小册) ,原价299,限时特价2杯咖啡,满100人涨10元。一般来说,我们都是交易ETF基金,就是可以在股票交易所买卖的那种基金,而不是基金公司或者天天基金网提供的基金。因为ETF基金的交易方式类似股票,当时会比股票更有优势,这个具体我们就不展开讲,不然跑题了。言归正传,我们来爬取全部800多只ETF基金的数据。1).打开东财的网站,点...

cainiao_python的博客 1731

OV9734 DATASHEET,完整规格书

OV9734完整规格书,包括电气参数,尺寸规格,寄存器配置表等

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

2025年6月编程语言排行榜|Python雄踞第一,SQL跌至历史新低,它还算编程语言吗?

现在是AI的时代,目前无论是大模型还是AI agent ,都是用Python作为主力的编程语言,目前python还有一些性能的问题,所以一统江湖的局面应该不会出现,毕竟没有语言都有它擅长的地方,但是当下AI是大风口,如果不懂Python的同学是可以考虑学习一下,上手很容易的!从Python安装,入门,数据分析,爬取股票基金的历史+实时数据,以及如何写一个简单量化策略,策略回测,如何看资金曲线统统都有介绍!的占比稳居榜首,较上月飙升10.48%,与第二名C++(10.68%)的差距扩大到惊人的。

cainiao_python的博客 1252

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

轻松挖掘热门股!几行Python代码获取雪球热!

????我的小册 45章教程:(小白零基础用Python量化股票分析小册) ,原价299,限时特价2杯咖啡,满100人涨10元。雪球网估计玩股票的同学大部分都知道吧,类似于程序员的github ,股票里面的知乎网站,里面好东西还是很多的。今天小编就教大家一招,获取雪球的热门股票,然后看看从这些热门股票里面看看有没有好的标的。我们先来看一下雪球的热门股票排行榜:在上面的页面可以看到有一个热股榜,里面有很多...

cainiao_python的博客 1441

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

轻松挖掘热门股!几行Python代码获取雪球热股榜!

????我的小册 40章+教程:(小白零基础用Python量化股票分析小册) ,目前已经300多人订阅这个是我们的Python量化的系列内容,前面我们讲了很多内容,如何准备爬取数据,拿到数据如何清洗,如何回测,如何用策略去开仓平仓,如何可视化等等。上次介绍了一个不错的因子(一个牛逼因子,40多行Python代码选出一个翻倍的股票!),会员群里很多小伙伴都在用。今天我们也介绍另外一个方法来选股,很意思,非...

cainiao_python的博客 2279

马上2025年,看7个冷门但实用的Python库,让你效率飞升!

(欢迎关注我的视频号-AI生成的大橘猫故事)????我的小册 45章教程:(小白零基础用Python量化股票分析小册) ,原价299,限时特价2杯咖啡,满100人涨10元。大家好,我是菜哥!作为一个在Python圈子里摸爬滚打多年的程序员兼自媒体老炮儿,今天我想跟大家聊聊7个你可能没听过,但绝对能让你眼前一亮的Python库!它们都属于“小众神器”,不像NumPy、Pandas这些“大佬”出场率那么高,...

cainiao_python的博客 1275

用Python量化分析:定投黄金能赚多少钱?上篇

最近黄金涨势太猛了,大到实物黄金,小到黄金股票,黄金etf都是赚的盆满钵满,我们量化群(目前有300多位)有小伙伴私信问我,如果去年开始定投黄金能赚多少钱,于是我周末写了一个程序来回测一下,工欲善其事必先利其器,我们分上下两篇来讲,赶紧来一起看一下吧。图画好了之后,我们后面就开始分析了,有的同学看不起定投,觉得定投也算量化策略嘛,其实定投是一个非常厉害的策略,我们下一篇会详细讲定投的收益,如果定投这个黄金etf 1年大概赚多少钱,回测是多少,然后最大的回撤发现在什么时候,这些都可以可视化的展现出来。

cainiao_python的博客 1946

运营28年的软件即将关停:鼎盛期用户数超1亿、腾讯都得叫声爹!

????我的小册 45章教程:(小白零基础用Python量化股票分析小册) ,原价299,限时特价2杯咖啡,满100人涨10元。知名即时通信软件ICQ 宣布将于 2024 年 6 月 26 日关闭——在上线运营近 28 年之后走向终结。ICQ 官网近日发表声明,称将于 6 月 26 日关闭,它建议用户改用 VK Messenger。ICQ 诞生于 1996 年,是最早的流行即时通讯软件,它最初由以色列...

cainiao_python的博客 182

又发现一个神奇的指标排名,2行Python代码分分钟抓住涨停股!

我的小册:(小白零基础用Python量化股票分析小册) ,原价299,限时特价2杯咖啡,满100人涨10元。很多我们陪伴群里的玩量化的小伙伴想躺平,觉得量化需要卷数据,卷完数据要卷因子,然后卷回测,累死累活累了半天好不容易找到一个因子,开始跑策略,结果发现要么就是回测很大,要么过拟合了~~ 咨询小编,不想卷子了,有没有捷径可以走。1.热股榜单好吧,我来安排,这次我找一个股票热度排行榜单,这个榜单是...

cainiao_python的博客 1781

趣味学Python,用Python如何批量做表格,openpyxl库!

????我的小册 45章教程:(小白零基础用Python量化股票分析小册) ,原价299,限时特价2杯咖啡,满100人涨10元。大家好,我是菜哥Excel 是处理数据和进行各种分析的强大工具。无论是工作还是生活,我们经常会用到 Excel 来记录和处理信息。然而,手动操作 Excel 文件有时既繁琐又耗时。幸运的是,Python 提供了一个强大的库——openpyxl,它可以帮助我们轻松地读写 Exce...

cainiao_python的博客 1028

10秒钟“配置”年化31%的全球大类资产带风控的策略(python代码+数据)

第二个五年,而立之年,来自父母的催婚,房价的高企,遇到过所谓心动的女生,雄心凌志不足以支撑现实之困局。去尝试,希望快速突破,被抛到空中,落回地面,“恍然大悟”,并无速成之法门。毕业那五年,初出社会,带着玫瑰色眼镜,感觉自带主角光环,“我命由我不由天”,经历年事情,都看成“天将降大任于斯人”。房子,车子,孩子,在社会阶梯中攀爬,慢慢积累一些财富,懂一点人情世故,心态平和且稳健很多。等,支持vnpy,qlib,backtrader和bt引擎,内置多个。工作,副业,事业,投资,自媒体,阅读,写作。

weixin_38175458的博客 560

世界上最好的编程语言——PHP排名跌至历史最低

我的小册:(小白零基础用Python量化股票分析小册) ,原价299,限时特价2杯咖啡,满100人涨10元。转自:OSC开源社区TIOBE 公布了 2024 年 4 月的编程语言排行榜。世界上最好的语言——PHP 登上本月的头条 (Is PHP losing its mojo?),但上榜却是因为其排名跌至历史最低。下图是 TIOBE 4 月 TOP 20 编程语言:可以看到,PHP 本月在 TI...

cainiao_python的博客 280

取代 Print,最专业的 Python 调试库来袭!

????我的小册 45章教程:(小白零基础用Python量化股票分析小册) ,原价299,限时特价2杯咖啡,满100人涨10元。大家好,我是菜鸟哥!说到 Python 编程,调试是每个开发者无法绕开的“必修课”。无论是小白还是经验丰富的老鸟,都有过因为 debug 而头疼的经历。特别是当你用 print() 一遍遍地输出调试信息时,自己都怀疑人生:“我是不是在搞大工程?”而且,看着那一堆堆无关紧要的输出...

cainiao_python的博客 890

Python量化系列:一个简单的因子过滤,10天赚了39个点!

????我的小册 40章教程:(小白零基础用Python量化股票分析小册) ,原价199,早鸟价39,满100人涨10元。我们写了很多量化的文章(关于python入门,数据爬虫,数据分析,量化的策略,量化的回测)。有的同学不太懂什么叫量化,或者有很多误解,其实你看了下面的这个图片就会直观理解。普通的交易方式这样:而量化的方式是这样的:一个是用镰刀锄头去收割,一个是用大型的收割机去批量的收割。二者完全不是...

cainiao_python的博客 675
上一篇: ChatGPT悄悄更新个大功能!!
下一篇: 微软游戏部门将裁员1900人!
菜鸟学Python
博客等级 码龄9年 8062粉丝 571原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值