爬虫笔记——东方财富科创板数据爬取（requests方法）

上篇文章：爬虫笔记——东方财富科创板数据爬取（selenium方法）介绍了selenium爬取东方财富科创板数据的方法，这里介绍requests的爬取方法。
requests方法：
优点：速度快
缺点：需要在检查f12或者网页源代码中寻找数据源链接

===================================================

网页观察

东方财富科创板数据链接

在f12检查中，未能发现数据加载来源，于是转到网页源代码中发现了下面的网址：东方财富科创板数据网页源代码页面

======================================================

网页源代码分析

打开后为如下页面：
网址：数据来源函数定义页面

======================================================
可以发现函数定义形式和显示页面中的相同，且有数据来源的网址，则可以通过这个网址：数据来源网址来爬取数据，注意在函数定义页面并未定义参数，这里定义了page为1（第一页），每页pagesize为149（每页显示149条数据，因为这里一共只有149条，数据多了可以多定义几页）。

===========================================================
那么得到该网址后就可以通过re准则获取想要的数据了，下面为具体的代码：

具体代码

# 东方财富科创板数据爬取（requests方法）
import requests
import re
import pandas as pd

HEADERS = {