h684392的博客

天蛛爬虫学习笔记——Requests爬虫实例定义一个爬虫的通用框架import requestsdef getHTMLtext(url): """ 爬虫通用框架, """ try: #捕捉到错误后会执行except的语句 r=requests.get(url) r.raise_for_status()# 返回值若为200，...

天蛛爬虫学习笔记——盗亦有道爬虫应该遵循网络协议，有些网站中有Robots协议需要遵守，查看某个网站的Robots协议在对应的URL后加robots.txt，例如：https://www.youkuaiyun.com/robots.txt。 ![在这里插入图片描述](https://img-blog.csdnimg.cn/2020042122032541.png?x-oss- process=imag...

天蛛爬虫学习笔记——Requests1、Requests方法1.1、request（method,url,**kwargs）构造一个请求，支撑一下各方法的基础方法,method包括下列的几个方法1.2、get(),获取HTML网页的主要方法1.3、 head（）获取HTML网页头信息1.4、post（）向HTML网页提交POST请求1.5、put（）向HTML网页提交PUT请求，会全部...

天蛛爬虫学习笔记——HTML基础知识1、HTML：HTML 是用来描述网页的一种语言，其全称叫作 Hyper Text Markup Language，即超文本标记语言Chrome中按F12跳出的Elements页面就是HTML，通过标签和嵌套可以构成网页的框架。2、CSS，全称叫作CascadingStyleSheets，即层叠样式表。“层叠”是指当在HTML中引用了数个样式文件，并且样式...

天蛛爬虫学习笔记——HTTP基础知识1.URI、URL、URN的关系URI全称为 Uniform Resource Identifier，即统一资源标志符，URL 的全称为 Universal Resource Locator，即统一资源定位符，URN全称为 Universal Resource Name，即统一资源名称。其中URL和URN都是URI的子集，由于URN只定义名称没有标记位置，所...