weixin_45033674的博客

一、IP相关 1、应对IP被封的方法： 修改请求头；模拟浏览器（而不是代码去直接访问）去访问；采用代理IP并轮换 2、获取IP地址 1）从该网站获取： https://www.xicidaili.com/；2）inspect -> 鼠标定位；3）要获取的代理IP地址，属于class = "odd"标签的内容：代码如下，获取的代理IP保存在proxy_ip_list列表 3、实例 from b...

一、bs4 1、简介 Beautiful Soup是一个HTML/XML 的解析器，主要用于解析和提取 HTML/XML 数据 2、相关概念 1）beautifulsoup4：python库(可用pip命令进行安装) 2）BeautifulSoup：一个类，由安装的库进行导入 html = 标签树 = BeautifulSoup类 所以可以对HTML文件采用类的方法进行解析 import requ...

一、重点收获： 1、对get/post两种类型有所理解，get类型主要针对获取所需内容不需要自己提供输入信息的情况，简单的比方就是摘抄内容；post类型主要针对获取所需内容需要自己提供输入信息的情况，类似于问答，比如说网页翻译，则需要输出原文。这就是爬虫的两大类型。 二、知识梳理 1、HTTP是客户端和服务器之间请求和应答的标准，种类有：get/head/post/put/delete/trace...