Power Query网页抓取探索
最初诞生VBA网抓的想法,还是因为自己炒股想要更快速获取信息,又不想买费用高昂的券商软件。后来调查发现,其实Python才是最出名的爬虫制作工具,但是要安装环境,最后做出来又只能在自己电脑上用,通用性不太强,所以就把目光对准了使用VBA网抓。这篇文章就分享一下自己在制作想要的这个股票历史数据获取工具过程中的心得体会以及踩过的“坑”。
如果一个方法能解决现有需求,说实话,我是没有动力去找第二个方法的。在使用VBA网抓之前,我就已经开始使用Excel在做股票信息分析,最开始用的Power Query的“新建查询”功能,从网页获取表格数据(具体方法可以参考:https://finance.sina.com.cn/tech/2021-05-06/doc-ikmyaawc3588981.shtml),可以直接更新到Excel表格中。数据源当时选取的是中财网数据引擎(https://data.cfi.cn/cfidata.aspx),不得不说这个网站真的对使用Excel自动网页数据源获取真的非常友好,因为都是可以识别的表格形式数据。更新Excel后是这个样子。之后利用简单学习的Power Query操作就可以快速清洗并分析处理大量数据。

然而,后来其实发现了这个方法的局限性,就是对数据源要求太高了,很多网站的表格数据,用Excel导入网站数据源的形式识别不了,而且我想要的历史数据,也不在这个网站中。并且Power Query这个方法,WPS是不支持的。这样无奈最后放弃了这个思路,开始探索真正的VBA网抓实现方法。
网抓数据源选择
网抓基本方法这里略过,请不懂VBA网抓的同学先自行学习理论基础。这里直接从制作历程讲起。“巧妇难为无米之炊”,要想做成VBA股票历史数据网抓这碗饭,先得有米,那就是找到合适的数据源。经历了一系列地毯式搜寻,发现网上贴子还都比较类似,大概就是这个样子(见这篇文章),分享了一些数据源接口网站,这个阶段只能多找多看,尤其是优快云这类技术论坛。另外,还找到了一些提供收费股票接口服务的公司(比如这个),虽然收费的但是最后感觉每年都要交钱太不划算了,抱着能找免费的就找免费的心态,还是没有购买现成的接口。最后,经过货比三家,发现网上贴子里面说的那些接口,最后能用的寥寥无几,我选中了这个数据接口(