这个网站上只有查询功能,但是业务想要上面的数据进行更有效的分析。
所以记录一下。
就拿私募基金这个相对比较难的,难点不在于数据难拿,难点在于 我们想要的数据要层层筛选,也就是说为了拿到一条完整的数据需要请求三次页面才能够拿到完整的数据,且,后一页的数据通过前一页面上的数据拿到后一页的请求地址,所以要发送三次请求。如下图所示:

看看这个页面的请求:

看到这个请求后,还是比较简单的。为一个算“反爬”措施的是 rand=XXXXX,仔细看,其实就是生产一个随机数,即可。
剩下的几个参数就没什么好介绍的了。
看一下相应,如下图所示:

如果单单拿这个页面的数据 就比较简单了,直接post请求,拿代码就可以了。
但是我需要公司的披露信息:如下图所示:

但是这个页面是通过第一个页面的managerurl来获取,所以要再发一次请求。
同样的原理获取公示信息 也一样:如下图所示

本文介绍了如何使用Python从中国证券投资基金业协会网站获取数据,特别是私募基金的相关信息。由于数据获取需要经过多层筛选和多次请求,作者详细阐述了处理rand参数的随机数生成以及通过managerurl获取后续页面数据的方法。最后,提到了还获取了证券公司和其他资产管理产品的数据。
最低0.47元/天 解锁文章
1427

被折叠的 条评论
为什么被折叠?



