以股票历史数据抓取为例,浅谈踩过的VBA网抓的“坑”

本文作者分享了使用VBA进行股票历史数据抓取的心得体会,从Power Query的局限性谈到VBA网抓的实现。在数据源选择、网页分析和数据处理过程中遇到了诸多挑战,如数据源识别问题、防盗链处理、请求头问题等,并给出了相应的解决策略。通过VBA实现的功能包括股票清单更新、实时行情下载、历史数据下载和财务报表获取。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Power Query网页抓取探索

最初诞生VBA网抓的想法,还是因为自己炒股想要更快速获取信息,又不想买费用高昂的券商软件。后来调查发现,其实Python才是最出名的爬虫制作工具,但是要安装环境,最后做出来又只能在自己电脑上用,通用性不太强,所以就把目光对准了使用VBA网抓。这篇文章就分享一下自己在制作想要的这个股票历史数据获取工具过程中的心得体会以及踩过的“坑”。

如果一个方法能解决现有需求,说实话,我是没有动力去找第二个方法的。在使用VBA网抓之前,我就已经开始使用Excel在做股票信息分析,最开始用的Power Query的“新建查询”功能,从网页获取表格数据(具体方法可以参考:https://finance.sina.com.cn/tech/2021-05-06/doc-ikmyaawc3588981.shtml),可以直接更新到Excel表格中。数据源当时选取的是中财网数据引擎(https://data.cfi.cn/cfidata.aspx),不得不说这个网站真的对使用Excel自动网页数据源获取真的非常友好,因为都是可以识别的表格形式数据。更新Excel后是这个样子。之后利用简单学习的Power Query操作就可以快速清洗并分析处理大量数据。

然而,后来其实发现了这个方法的局限性,就是对数据源要求太高了,很多网站的表格数据,用Excel导入网站数据源的形式识别不了,而且我想要的历史数据,也不在这个网站中。并且Power Query这个方法,WPS是不支持的。这样无奈最后放弃了这个思路,开始探索真正的VBA网抓实现方法。

网抓数据源选择

网抓基本方法这里略过,请不懂VBA网抓的同学先自行学习理论基础。这里直接从制作历程讲起。“巧妇难为无米之炊”,要想做成VBA股票历史数据网抓这碗饭,先得有米,那就是找到合适的数据源。经历了一系列地毯式搜寻,发现网上贴子还都比较类似,大概就是这个样子(见这篇文章),分享了一些数据源接口网站,这个阶段只能多找多看,尤其是优快云这类技术论坛。另外,还找到了一些提供收费股票接口服务的公司(比如这个),虽然收费的但是最后感觉每年都要交钱太不划算了,抱着能找免费的就找免费的心态,还是没有购买现成的接口。最后,经过货比三家,发现网上贴子里面说的那些接口,最后能用的寥寥无几,我选中了这个数据接口(

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值