本文介绍了如何使用Python的requests库通过POST方式爬取掘金网站的用户信息。通过分析网络请求，发现参数加密采用了base64编码，解码后控制翻页的参数为cursor。对五个主要技术分类进行爬取，提取作者的个人信息，去除重复数据，最终获取到16598条用户信息并存储到csv文件中。爬取过程中注意参数构造、数据提取和存储策略。
Python POST 爬虫爬取掘金用户信息
1. 概述
Python第三方库requests提供了两种访问http网页的函数，基于GET方式的get()函数和基于POST方式的post()函数。
get函数是最为常用的爬取方式，可以获取静态HTML页面和大部分动态加载json文件，但有一些网站对部分数据文件进行了加密处理，不能使用get来获取到文件内容，此时就需要使用post函数来进行获取。例如本文中所要爬取的掘金网站的用户信息。
POST方式与GET方式最主要的区别在于POST在发送请求时会附上一部分参数，服务器根据参数来选择返回给客户的内容。因此在使用post函数时，一大重要之处在于构造参数。有一部分网站会对参数进行加密，这种时候就需要通过观察和一些常用解密方法来进行解密，常用的加密方法包括base64、Hex以及压缩等方法，本文破解的掘金网站参数是使用了base64加密。
综上，本文通过post函数构造加密参数获取了掘金五个主要分类下面的5000页文章信息并从中提取出作者的个人用户信息，去掉重复信息，共获取16598条个人用户信息。
2. 网页观察
掘金，https://juejin.cn/，国内知名极客平台、程序员社区，掘金中有非常多的技术大牛，通过获取掘金的用户信息，我们可以提取出非常多关于国内程序员现状的有价值信息。
观察掘金首页，会发现没有直接的用户展示页面，因此，要获取大量用户数据，我们拟定通过获取文章作者信息的方式来获取用户数据。掘金首页有若干个标签分类，每一个标签分类会展示若干篇文章，我们计划主要针对“后端”，“前端”，“Android”，“iOS","人工智能”五个标签分类来获取。
进入“后端”页面，下拉到尽头，发现该网页的文章加载并不是通过静态翻页的形式，而是动态加载json文件的形式。
F12检查，进入network，下拉加载新的文章：
观察加载出来的新文件，发现一个新文件“recommend_cate_feed”：
点击该文件，选择Preview板块，发现为一个字典，其中有若干个键，打开data键，发现其中包含有若干文章信息，可以确定此文件即为我们所需要的文件：
直接打开此链接网站，网页显示“404”，不能直接通过GET访问，需要使用POST方式来访问。
然后我们继续下拉窗口，加载新的文件，对比之前的文件发现，两者的链接网址都一样，不同之处在于POST发送的参数中的cursor值不同：
（原文件整体信息）
（新文件整体信息）
（原文件参数）
（新文件参数）
因此我们可以推测出控制翻页和类别标签的参数都是cursor，可以看出cursor是加密过后的值，如要使用其模拟翻页需要对其进行解密。
3. 数据提取
从上文中我们获取到了所需信息的网址位置，接下来我们准备使用Python来试爬取，并对其参数进行解密。
首先导入所需库：
import requests #用于数据获取
import pandas as pd #用于数据存储
将上文中找到的网址作为目标网址;
url = r"https://api.juejin.cn/recommend_api/v1/article/recommend_cate_feed"
先将上文查看到的文件中的所有参数都复制下来作为POST参数（Request Payload中的信息）：
复制成字典类型：
p = {'id_type': 2, 'sort_type': 200, 'cate_id': '6809637769959178254', 'cursor': 'eyd2JzogJzY5ODY2NTI5MjU5NjM1MzQzNTAnLCAnaSc6IDYwfQ==', 'limit': 20}
再构造请求头，POST请求一般必备的请求头包括：user-agent, accept-encoding, accept-language, content-length和content-type。
将上述几项从Request Headers中复制成字典：
header = {"user-agent": "Mozilla/5.0",
"accept-encoding": "gzip, deflate, br",
"accept-language": "zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7",
"content-length": "132",
"content-type": "application/json"
}
注意：有时读取到的可能是乱码，进行encoding转化的测试之后发现是因为请求头中支持br压缩编码，返回的编码是使用br压缩之后的，而requests默认解压缩只支持gzip。进行解压缩较为麻烦，直接将请求头中支持压缩编码的部分去掉，仅接受gzip压缩。
所以请求头构造如下：
header = {"user-agent": "Mozilla/5.0",
"accept-encoding": "gzip",
"accept-language": "zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7",
"content-length": "132",
"content-type": "application/json"
}
然后使用post函数获取其内容，存储其json格式内容，打印出来观察：
r = requests.post(url, data = json.dumps(p), headers = header)
js_lst = r.json()
print(js_lst)
打印如下：
观察数据，发现我们需要的数据存储在data值之中，为一个列表，列表里每一篇文章为一个元素。再深入js_lst[“data”]观察，发现作者信息存储在author_user_info值之中，并作为字典存储了作者的诸多用户信息，将我们关心的数据提取出来：
for item in js_lst["data"]: #遍历每一篇文章
info_dic = item["author_user_info"] #作者信息存储的字典
if info_dic["user_id"] not in id_lst: #检查id来判断该作者信息是否已经被读取
id_lst.append(info_dic["user_id"]) #id
user_info = {} #存储提取后作者信息的字典
user_info["id"] = info_dic["user_id"] #id
user_info["name"] = info_dic["user_name"] #用户名
user_info["company"] = info_dic["company"] #所在公司
user_info["job"] = info_dic["job_title"] #职业
user_info["level"] = info_dic["level"] #用户等级
user_info["descrip"] = info_dic["description"] #个人简介
user_info["fans"] = info_dic["followee_count"] #粉丝数
user_info["stars"] = info_dic["follower_count"] #关注数
user_info["articles"] = info_dic["post_article_count"] #原创文章数
user_info["get_like"] = info_dic["got_digg_count"]#点赞数
user_info["views"] = info_dic["got_view_count"] #浏览量
info_lst.append(user_info) #将该用户的信息加入到用户列表
此处使用了将爬到的每一个用户的id都存入一个列表，在每一次爬取中先判断此时爬取的用户id是否在列表中，来避免重复爬取。
4.参数构造
接下来我们来构造参数实现多页面的爬取。
根据上文分析，POST请求时需要附带的参数共有五个：id_type, sort_type, cate_id, cursor以及limit。
根据上文对不同文件进行分析，再对不同类型的页面进行参数对比，我们得到id_type、sort_type和limit都是不需要改变的参数，直接使用上文中的即可。而cate_id控制了内容的分类（后端、前端等），cursor控制了翻页。
由于我们的目标类别只有主要的5种类别，因此我们直接获取五个类别的cate_id即可。较为麻烦的参数为cursor，可以看出其是经过加密之后的值，我们需要先将其解密。
根据cursor值的特点，我们推测其使用base64加密编码，尝试使用base64对上文的cursor进行解码：
import base64 #导入base64库
print(base64.b64decode(b'eyJ2IjogIjY5ODY2NTI5MjU5NjM1MzQzNTAiLCAiaSI6IDIwfQ==')) #打印解码之后的内容
可以看出确实是使用base64编码加密。
通过对几个不同的文件参数解码之后对比，我们可以得出结论：解码之后的v是类型值，而i是页数，i从20开始，以40为单位。
对于v，由于其与上文的类型数cate_id并不相同，我们人工获取五个目标类别的v参数，并存成字典：
cate_dict = {
"后端": ["6809637769959178254","6986652925963534350"],
"前端": ["6809637767543259144","6986785259966857247"],
"安卓": ["6809635626879549454","6986154038312042504"],
"人工智能": ["6809637773935378440","6986885294276476958"],
"IOS": ["6809635626661445640", "6986425314301870094"]}
然后我们选择对应的v和i进行编码，查看对比编码是否正确。
for key in list(cate_dict.keys()): #遍历每一个类别
cate_id = cate_dict[key][0] #cate_id
cate_password = cate_dict[key][1] #v
for page in range(20, 40060, 40): #控制翻页
encode_dic = {} #需要编码的cursor原始形式是一个字典
encode_dic["v"] = cate_password
encode_dic["i"] = page
#编码
cursor = base64.b64encode(str(encode_dic).replace("'", "\"").encode()) #j将该字典转化为字符串并将其中的单引号转化为双引号，再编码成字节类型，再使用base64编码
print(cate_id)
print(cursor.decode()) #打印编码出来的结果，使用字符串显示
编码结果如下：
注意此处涉及到的一个小技巧。因为Python同时支持单引号和双引号，且默认为单引号，所以将字典转化为字符串之后，字典中的项使用单引号。但正确参数解码之后的字典为双引号，因此需要将字符串之中的单引号使用replace函数转化为双引号，否则编码出来的结果不正确
从而我们就构造好了所需的参数。
5. 结果存储
构造好参数，提取好数据之后，我们就可以进行大批量爬取了。由于是爬取的动态API接口，因此一般不会因为爬取速度过快被检测到，不需要进行休眠。为保证质量，也可以适当进行休眠。
最后涉及到的一个问题是爬取到的数据的存储，因为爬取到的数据量较大，爬取耗时较长，最好是多次写入到csv文件中，从而保证即使在爬取过程中出现网络错误也不至于需要全部重来。
存储数据本文使用pandas库进行存储，将爬取到的列表转化为pandas的DataFrame类型，然后使用to_csv函数即可写入。
data = pd.DataFrame(info_lst) #数据类型转化
data.to_csv(r"juejin.csv")
为实现分批写入，我们在爬取过程中维护一个num变量，每获取一页num加1，当num等于25时将info_lst中的内容写入到文件中，并将info_lst清空以避免造成太大的内存消耗。如此需要使用追加写入，否则每一次写入会清空原有内容，追加写入只需设置mode为a。
if num == 25: #已爬取25页
data = pd.DataFrame(info_lst) #数据类型转化
data.to_csv(r"juejin.csv", mode = "a") #追加写入
info_lst = [] #清空暂存列表
num = 0
print("写入成功")
爬取结果：
共16598条无重复的用户数据。
6. 源代码：
import requests
import base64
import pandas as pd
num = 0
url = r"https://api.juejin.cn/recommend_api/v1/article/recommend_cate_feed"
p ={"id_type":2,"sort_type":200,"cate_id":"6809637769959178254",
"cursor":"eyJ2IjoiNjk4NjY1MjkyNTk2MzUzNDM1MCIsImkiOjQwMDIwfQ==","limit":20}
header = {"user-agent": "Mozilla/5.0",
"cookie":"MONITOR_WEB_ID=6df3866a-2cab-4818-bb57-e75e971da3f8; _ga=GA1.2.1480397537.1626829211; _gid=GA1.2.1556542559.1626829211",
"accept-encoding": "gzip",
"accept-language": "zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7",
"content-length": "132",
"content-type": "application/json"
}
id_lst = [] #去重所用的id列表
info_lst = [] #暂存结果列表
for key in list(cate_dict.keys()): #遍历每一个分类
cate_id = cate_dict[key][0] #类别号
cate_password = cate_dict[key][1] #v
for page in range(20, 40060, 40): #翻页
time.sleep(random.random()) #休眠0-1的随机时间
encode_dic = {} #cursor参数字典
encode_dic["v"] = cate_password
encode_dic["i"] = page
#编码
cursor = base64.b64encode(str(encode_dic).replace("'", "\"").encode())
#print(cursor)
p["cate_id"] = cate_id
p["cursor"] = cursor.decode()
#print(p)
r = requests.post(url, data = json.dumps(p), headers = header)
#print(r.apparent_encoding)
r.encoding = "utf-8"
#print(r.text)
js_lst = r.json()
for item in js_lst["data"]: #遍历每一篇文章
info_dic = item["author_user_info"] #作者信息存储的字典
if info_dic["user_id"] not in id_lst: #检查id来判断该作者信息是否已经被读取
id_lst.append(info_dic["user_id"]) #id
user_info = {} #存储提取后作者信息的字典
user_info["id"] = info_dic["user_id"] #id
user_info["name"] = info_dic["user_name"] #用户名
user_info["company"] = info_dic["company"] #所在公司
user_info["job"] = info_dic["job_title"] #职业
user_info["level"] = info_dic["level"] #用户等级
user_info["descrip"] = info_dic["description"] #个人简介
user_info["fans"] = info_dic["followee_count"] #粉丝数
user_info["stars"] = info_dic["follower_count"] #关注数
user_info["articles"] = info_dic["post_article_count"] #原创文章数
user_info["get_like"] = info_dic["got_digg_count"]#点赞数
user_info["views"] = info_dic["got_view_count"] #浏览量
info_lst.append(user_info) #将该用户的信息加入到用户列表
print("完成第{}/{}页".format(int((page-20)/40), 1000))
num+=1 #爬取页码加1
if num == 25: #每25页存储一次
data = pd.DataFrame(info_lst) #数据类型转化
data.to_csv(r"juejin.csv", mode = "a") #追加写入
info_lst = []
num = 0
print("写入成功")
print("key:{}完成".format(key))
print()
print()
扫一扫
1519
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
