如何用Python爬取全部800多只ETF基金数据！

本篇是量化系列 付费阅读，已经购买小册的不要看了。

我的小册: (小白零基础用Python量化股票分析小册)，原价199，限时特价39，满100人涨10元

前面已经给大家讲了股票数据的爬取(如何用Python爬取创业板历史+实时股票数据！)，基金也是类似的爬取。一般来说，我们都是交易ETF基金，就是可以在股票交易所买卖的那种基金，而不是基金公司或者天天基金网提供的基金。

因为ETF基金的交易方式类似股票，当时会比股票更有优势，这个具体我们就不展开讲，不然跑题了。言归正传，我们来爬取全部800多只ETF基金的数据。

1).打开东财的网站，点击基金，选择ETF市场

然后也是点鼠标右键/检查，查看网络，进行接口分析，我们需要通过爬虫爬取全部基金的代码编号，方便我们后面遍历获取。

打开Network，找到带有push字眼的链接，可以用上面的搜索工具，去搜这个关键字

右边这个request url 就是我们要的链接，点一下payload可以看到有856只基金。

下面就开始写代码，爬取全部ETF基金列表

我们把上面网页上分析得到url拷贝下来，然后给它构建一个times_tamp时间戳（长度为13的字符串整数），因为这个是动态的，所以实时构建一下，然后把拼装好的url 喂给spide_etf() 这个函数去请求，然后获得整个列表。

我们一般尝试5次，如果出错了就停5秒，然后继续再抓取，一旦成功就立刻返回列表内容。我们看一下输出的结果：

一共856只ETF基金数据，好获取了整个基金列表之后，我们只需要遍历就可以获得所有的基金的历史数据。

2).爬取每个基金的数据

这里我们可以讨一个巧，因为ETF基金跟股票一样，可以直接用我们上面访问股票的url链接格式进行请求历史数据，只需要换一个code就可以了。