龟的小号的博客

文章目录一、爬虫任务二、python脚本三、结果一、爬虫任务爬取网站的标题步骤：1、创建proxyHandler（代理ip）->创建opener2、创建请求对象（不同浏览器）3、发送请求4、正则清洗数据二、python脚本import randomimport refrom urllib import request#urlurl="http://www.baid...

文章目录一、url中请求参数的处理二、实例—带有请求参数的爬虫1.步骤2.脚本3.运行结果一、url中请求参数的处理如果请求中有参数时，我们需要把key-value转换为字符串#urlurl="http://www.baidu.com/s?"#请求参数params={"wd":"pyhon爬虫"}#将请求参数转换成url编码格式(字符串）paramsStr=urllib.pars...

文章目录一、爬虫任务二、任务分析二、脚本三、运行结果一、爬虫任务在百度上搜索“小明”，将搜索结果的前三页保存到本地二、任务分析发送的请求是get请求，请求的url如下：http://www.baidu.com/s?wd=小明& #第1页http://www.baidu.com/s?wd=小明&pn=10 #第2页http://www.baidu....