<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[戴上微笑的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/dai1987csdn</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; dai1987csdn]]></copyright><item><title><![CDATA[python 爬虫 缓存的应用 反爬机制]]></title><link>https://blog.youkuaiyun.com/dai1987csdn/article/details/110420735</link><guid>https://blog.youkuaiyun.com/dai1987csdn/article/details/110420735</guid><author>dai1987csdn</author><pubDate>Tue, 01 Dec 2020 09:31:26 +0800</pubDate><description><![CDATA[首先需要安装requests-cache模块 pip install requests-cache
测试模块是否安装成功
import requests_cache
version = requests_cache.__version__
print('版本号为：'version)

输出结果：
版本号为：0.5.2
在使用Requests-Cache模块实现请求缓存时，只需要调用install_cache()函数即可，其语法如下：
requests_cache.install_cache(cache_na]]></description><category></category></item><item><title><![CDATA[python 爬虫 检测代理ip是否有效]]></title><link>https://blog.youkuaiyun.com/dai1987csdn/article/details/110386502</link><guid>https://blog.youkuaiyun.com/dai1987csdn/article/details/110386502</guid><author>dai1987csdn</author><pubDate>Tue, 01 Dec 2020 09:00:03 +0800</pubDate><description><![CDATA[import requests
import pandas
from lxml import etree
ip_table=pandas.read_excel('ip.xlsx')
ip = ip_table['ip']
headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/53]]></description><category></category></item><item><title><![CDATA[python 爬虫 获取免费的代理ip地址]]></title><link>https://blog.youkuaiyun.com/dai1987csdn/article/details/110385948</link><guid>https://blog.youkuaiyun.com/dai1987csdn/article/details/110385948</guid><author>dai1987csdn</author><pubDate>Mon, 30 Nov 2020 13:32:47 +0800</pubDate><description><![CDATA[import requests
from lxml import etree
import pandas as pd
ip_list=[]#创建保存IP地址的列表
def get_ip(url,headers):
    response = requests.get(url,headers=headers)
    response.encoding='utf-8'#设置编码方式
    if response.status_code==200:#判断请求是否成功
        html = etree]]></description><category></category></item><item><title><![CDATA[python 爬虫 代理的应用]]></title><link>https://blog.youkuaiyun.com/dai1987csdn/article/details/110385374</link><guid>https://blog.youkuaiyun.com/dai1987csdn/article/details/110385374</guid><author>dai1987csdn</author><pubDate>Mon, 30 Nov 2020 13:12:15 +0800</pubDate><description><![CDATA[在爬取网页的过程中，经常会出现不就前可以爬取的网页现在无法爬取的情况，这是因为您的IP地址被爬取网站的服务器屏蔽了。此时，需要设置代理，代码如下：
import requests

#创建头部信息
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.66 Safari/537.36'}
proxy = {'http']]></description><category></category></item><item><title><![CDATA[python 爬虫 requests模块实现上传文件files参数]]></title><link>https://blog.youkuaiyun.com/dai1987csdn/article/details/110385106</link><guid>https://blog.youkuaiyun.com/dai1987csdn/article/details/110385106</guid><author>dai1987csdn</author><pubDate>Mon, 30 Nov 2020 13:04:09 +0800</pubDate><description><![CDATA[使用requests模块实现向服务器上传文件非常简单，只需要指定post（）函数中的files参数即可。files参数可以指定一个BufferedReader对象，该对象可以使用内置的open（）函数返回。代码如下：
import requests
bd = open('百度logo.png','rb')
file = {'file':bd}
response = requests.post('http://httpbin.org/post',files=file)
print(response.text)]]></description><category></category></item><item><title><![CDATA[python 爬虫 网络超时与异常]]></title><link>https://blog.youkuaiyun.com/dai1987csdn/article/details/110384925</link><guid>https://blog.youkuaiyun.com/dai1987csdn/article/details/110384925</guid><author>dai1987csdn</author><pubDate>Mon, 30 Nov 2020 12:57:27 +0800</pubDate><description><![CDATA[在访问一个网页时，如果该网页长时间未响应，系统就会判断该网页超时，无法打开网页。模拟代码如下：
import requests
for a in range(0,100):
    try:
        response = requests.get('http://www.baidu.com/', timeout=0.02)
        print(response.status_code)
    except Exception as e:
        print('异常'+str(e))]]></description><category></category></item><item><title><![CDATA[python 爬虫 验证请求 requests模块中的auth参数可以实现]]></title><link>https://blog.youkuaiyun.com/dai1987csdn/article/details/110382638</link><guid>https://blog.youkuaiyun.com/dai1987csdn/article/details/110382638</guid><author>dai1987csdn</author><pubDate>Mon, 30 Nov 2020 11:21:55 +0800</pubDate><description><![CDATA[import requests#导入requests模块
from requests.auth import HTTPBasicAuth#导入HTTPBasicAuth类
#定义请求地址
url = 'http://sck.rjkflm.com:666/spider/auth/'
ah = HTTPBasicAuth('admin','admin')
response = requests.get(url=url,auth=ah)
if response.status_code==200:
    prin]]></description><category></category></item><item><title><![CDATA[python 爬虫 requests模块中的会话请求 Session]]></title><link>https://blog.youkuaiyun.com/dai1987csdn/article/details/110378852</link><guid>https://blog.youkuaiyun.com/dai1987csdn/article/details/110378852</guid><author>dai1987csdn</author><pubDate>Mon, 30 Nov 2020 10:59:45 +0800</pubDate><description><![CDATA[在实现获得某个登陆后页面的信息时，可以使用设置Cookies的方式先实现模拟登陆，然后在获得登陆后的页面信息内容。这样虽然尅成功的获得页面中的信息，但是比较麻烦。
在requests模块中的Session对象，通过该对象可以实现在同一会话内发送多次网络请求的功能，这相当于在浏览器中打开了一个新的选项卡，此时再获得登陆后页面中的数据时，可以发送两次请求，第一次发送登陆请求，而第二次请求可以在不设置Cookies的情况下获取登陆后的页面数据，代码如下：
import requests#导入requests模块
]]></description><category></category></item><item><title><![CDATA[python 爬虫 requests模块 中的Cookies 验证 通过验证cookies模拟登陆豆瓣登陆]]></title><link>https://blog.youkuaiyun.com/dai1987csdn/article/details/110367476</link><guid>https://blog.youkuaiyun.com/dai1987csdn/article/details/110367476</guid><author>dai1987csdn</author><pubDate>Mon, 30 Nov 2020 10:04:23 +0800</pubDate><description><![CDATA[在爬取某些数据时，需要进行网页的登陆，才可以进行数据的抓取工作。Cookies登陆就像很多网页中的自动登陆功能一样，可以让用户第二次登陆时不在需要验证账号和密码的情况下进行登陆。在requests模块中实现Cookies登陆时，首先需要在浏览器的开发者工具中找到可以实现登陆的Cookies信息，然后将Cookies信息处理并添加至RequestsCookieJar的对象中，最后将RequestsCookieJar对象作为网络请求的Cookies参数发送网络请求即可。
登陆前F12打开开发者工具，然后点击登陆]]></description><category></category></item><item><title><![CDATA[python 爬虫 添加请求头headers]]></title><link>https://blog.youkuaiyun.com/dai1987csdn/article/details/110367163</link><guid>https://blog.youkuaiyun.com/dai1987csdn/article/details/110367163</guid><author>dai1987csdn</author><pubDate>Mon, 30 Nov 2020 09:18:58 +0800</pubDate><description><![CDATA[有时候的请求网页内容时，会发现无论通过GET，POST以及其他请求方式，都会出现403错误。这种现象多数为服务器拒绝了您的访问，那是因为这些网站为了防止恶意采集信息，所使用的反爬虫设置。此时可以通过模拟浏览器的头部信息来进行访问，这样就能解决以上反爬设置的问题。代码如下：
import requests

url = 'https://www.baidu.com'#创建需要爬取网页的地址
#创建头部信息
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.]]></description><category></category></item><item><title><![CDATA[python 爬虫 POST请求]]></title><link>https://blog.youkuaiyun.com/dai1987csdn/article/details/110366771</link><guid>https://blog.youkuaiyun.com/dai1987csdn/article/details/110366771</guid><author>dai1987csdn</author><pubDate>Mon, 30 Nov 2020 09:09:31 +0800</pubDate><description><![CDATA[import requests  # 导入网络请求模块requests
import json  # 导入json模块

# 字典类型的表单参数
data = {
    '1': '能力是有限的，而努力是无限的。',
    '2': '星光不问赶路人，时光不负有心人。'
}
#发送网络请求
response = requests.post('http://httpbin.org/post', data=data)
response_dict = json.loads(response.text)#将响应]]></description><category></category></item><item><title><![CDATA[python 爬虫 GET(带参) 请求 配置params参数]]></title><link>https://blog.youkuaiyun.com/dai1987csdn/article/details/110366392</link><guid>https://blog.youkuaiyun.com/dai1987csdn/article/details/110366392</guid><author>dai1987csdn</author><pubDate>Mon, 30 Nov 2020 08:51:05 +0800</pubDate><description><![CDATA[import requests
#发送网络请求
response = requests.get('http://httpbin.org/get?name=Jack&amp;age=30')
print(response.text)

输出结果：
{
  "args": {
    "age": "30", 
    "name": "Jack"
  }, 
  "headers": {
    "Accept": "*/*", 
    "Accept-Encoding": "gzip, deflate",]]></description><category></category></item><item><title><![CDATA[python 爬虫 爬取图片 二进制数据]]></title><link>https://blog.youkuaiyun.com/dai1987csdn/article/details/110357581</link><guid>https://blog.youkuaiyun.com/dai1987csdn/article/details/110357581</guid><author>dai1987csdn</author><pubDate>Sun, 29 Nov 2020 23:27:41 +0800</pubDate><description><![CDATA[import requests
#发送网络请求
response = requests.get(‘https://www.baidu.com/img/bd_logo1.png?where=super’)
print(response.content)#打印二进制数据
with open(‘百度logo.png’, ‘wb’) as f:#通过open()函数将二进制数据写入本地文件
f.write(response.content)#写入


...]]></description><category></category></item><item><title><![CDATA[python 爬虫请求模块requests之get请求]]></title><link>https://blog.youkuaiyun.com/dai1987csdn/article/details/110357351</link><guid>https://blog.youkuaiyun.com/dai1987csdn/article/details/110357351</guid><author>dai1987csdn</author><pubDate>Sun, 29 Nov 2020 23:16:05 +0800</pubDate><description><![CDATA[import requests
#发送网络请求
response = requests.get(‘https://www.baidu.com’)
print(response.status_code)#打印状态码
print(response.url)#打印请求url
print(response.headers)#打印头部信息
print(response.cookies)#打印Cookie信息
#实现不带参数的网络请求

...]]></description><category></category></item></channel></rss>