安装 requests-html
本文主要参考requests-html官方文档,详细资料可见参考文献
pipenv install requests-html
#need python 3.6 above
爬取相关网站
可以将下面的网站,替换成人名比较多的网站,比如xx大全等,这里就不细说,可自行百度
from requests_html import HTMLSession
session = HTMLSession()
r = session.get('https://python.org/')
可以先打印出来absolute_links,然后访问这个页面下的链接,打印页面文件,然后在进行相关的后处理
r.html.absolute_links
print(r.html.text)
参靠文献:
1、http://html.python-requests.org/
本文介绍如何使用requests-html库进行网页爬取,包括安装配置、基本使用方法及示例代码,适合初学者快速上手。
477

被折叠的 条评论
为什么被折叠?



