qq_35759159的博客

今天学习了，web下载的基本框架，给大家分享一下。 我是自己建立了一个网站，自己去爬取自己的网站。 这样更方便去理解爬虫爬取信息的原理。 先给大家讲解一下 wed下载的原理： 客户端访问网站 网站给客户端提供文件名 客户端通过文件名从网站上访问文件参数 网站传输文件数据给客户端 给大家分享一下我的代码： server.py 文件 import flask import os app = fla...

函数定义： def getHTMLText(url):#基础爬虫函数框架 try: r=requests.get(url,timeout=30) r.raise_for_status()#如果状态不是200，会引发HTTPError异常 r.encoding=r.apparent_encoding print...