百度文库爬虫

The pure land

已于 2022-03-14 16:19:39 修改

阅读量940

点赞数 1

文章标签：爬虫 python

于 2022-03-14 15:30:01 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_43900888/article/details/123479180

版权

该博客介绍了如何通过编程抓取以0.json开头的网络请求，获取并拼接每个页面中‘c’属性存储的文本行，从而得到完整的文档内容。内容涉及网络请求、正则表达式和文件写入操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、文本

右击选择”检查“，在network-js里以0.json开头的网络请求为单页文本请求。在每一页请求返回的response的json中，属性c存储了每一行的文字。因此，将所有页的url请求一遍，且每一页解析出json里属性c对应的每一行文本，即为整个文档内容。
在这里插入图片描述

代码

import re  # 正则表达式
import requests

#0.json对应的url
urls=["",
      "",
      ""
     ]

headers = {
        "user-agent": "XXX" #XXX改为你自己的user-agent
}
count=0
for url in urls:
    count=count+1
    f = open(r'../baiduword/'+str(count)+'.doc', 'a+')
    res=requests.get(url=url,headers=headers)
    res.encoding = "unicode_escape"
    res_list=re.findall('"c":"(.*?)","p"',res.text)
    for raw in res_list:
        f.write(str(raw))