XiaoSaShuiXing的博客

将pip下载源配置为国内的镜像 用国外的下载源发现速度不是一般的慢 user（用户）目录中创建一个pip目录 如：C:\Users\pip然后新建文件 pip.ini 注：创建pip.ini文件时可以直接在桌面新建txt文本再将其改为pip.ini并且移动到刚刚创建好的文件中 在pip.ini文件中输入以下内容（以阿里云镜像为例，个人认为阿里云较为稳定）： https://pypi.tun...

常见的基础反爬 1、Headers反爬虫 ：Cookie、Referer、User-Agent 解决方案: 通过F12获取headers,传给requests.get()方法 2、IP限制 ：网站根据IP地址访问频率进行反爬,短时间内进制IP访问 解决方案: 1、构造自己IP代理池,每次访问随机选择代理,经常更新代理池 2、购买开...

电影天堂爬取实例—requests #导入模块 import requests,time,random,re from useragents import ua_list #一级页面正则 #<table width="100%".*?<td height="26">.*?<a href="(.*?)".*?class="ulink">(.*?)</a> ...

URL地址编码模块 为什么要给地址 编码 我们在浏览器里面输入查询参数时浏览器会自动给我们进行编码,当我们用爬虫程序进行获取内容时浏览器识别不了我们所输入的内容,所以就要编码 作用 给URL地址中查询参数进行编码 编码前：https://www.baidu.com/s?wd=美女 编码后：https://www.baidu.com/s?wd=%E7%BE%8E%E5%A5%B3 比如我们在浏览...