Requests库学习-中国大学MOOC-Python网络爬虫与信息提取-北京理工大学嵩天教授

最新推荐文章于 2023-02-23 15:30:58 发布

原创最新推荐文章于 2023-02-23 15:30:58 发布 · 948 阅读

9 ·

CC 4.0 BY-SA版权

文章标签：

#python #爬虫

python爬虫专栏收录该内容

4 篇文章

订阅专栏

本教程通过三个实战项目介绍Python中Requests库的基本使用方法，包括网络图片爬取与存储、IP地址查询及亚马逊商品页面爬取。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

中国大学MOOC-Python网络爬虫与信息提取-北京理工大学嵩天教授

Requests库相关项目实战

Requests库相关项目实战

本博客会先介绍Requests库的基础知识，再讲解3个相关实战项目。非常基础，具体视频以及课件，在中国大学MOOC里可以找到，由北京理工大学，嵩天教授主讲：Python网络爬虫与信息提取

Requests库相关知识点

主要介绍7个requests的方法以及使用Requests库的通用模板：
以上就是所要重点介绍

Requests库的安装 ，在cmd下，pip install requests；
Requests库的7个方法说明：
重点介绍get()方法 ，

与此同时，以下两个对象需要注意，尤其是response对象
response对象的几个属性
Requests库爬虫同用模板

import requests
def getHtmlText(url):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()#如果状态不是200，引发httperror异常
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return '产生异常'
if __name__=="__main__":
    url="http://www.baidu.com"
    print(getHtmlText(url))

项目一：网络图片的爬取与存储

import requests
import os
def getHtmlText(url):
    root = "D://pics//"
    path = root + url.split('/')[-1]
    try:
        if not os.path.exists(root):
            os.makedirs(root)
        #d盘下没有pics文件，则创建一个
        if not os.path.exists(path):
            #是否存在path文件
            r = requests.get(url)
            with open(path,'wb') as f:
                f.write(r.content)
                f.close()
                print("文件保存成功")
        else:
            print("文件已存在")
    except:
        print("爬取失败")

if __name__ == "__main__":
    url = "http://img0.dili360.com/ga/M00/47/EF/wKgBzFlDQnWAU5dKACd7TLyocKo220.tub.jpg"
    getHtmlText(url)

项目二：ip地址查询代码

自己电脑ip获取方法：百度ip,找到：
在这里插入图片描述

注意：有些网站不喜欢被程序访问，因此他们会检查链接的来源。如果访问来源不是正常的途径，就给你“掐掉”。所以为了让我们的爬虫更好的为我们服务，需要对代码进行一些改进–隐藏-，让它看起来更像是普通人通过普通浏览器的正常点击。
也就是修改userAgent，这样无非不是欺骗服务器，我们自己本身类似于正常用户访问页面，拿取数据。

import requests

def getHtmlText(url):
    try:
        kv = {'user-agent': 'Mozilla/5.0'}
        #一定要更改user-agent
        r = requests.get(url+'输入自己电脑的ip',headers = kv)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        print("爬取失败")


if __name__ == "__main__":
    url = 'https://m.ip138.com/iplookup.asp?ip='
    print(getHtmlText(url))

项目三：亚马逊商品页面的爬取

错误代码示范：会产生异常

import requests
def getHtmlText(url):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()#如果状态不是200，引发httperror异常
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return '产生异常'
if __name__=="__main__":
    url="https://www.amazon.cn/gp/product/B01M8L5Z3Y"
    print(getHtmlText(url))

查找代码错误原因：通过输出r.text，见print(text)下面的字，“抱歉，我们只是想确认一下当前访问者并非自动程序。为了达到最佳效果，请确保您浏览器上的 Cookie 已启用”:，即请求头出现问题，它认出你不是浏览器访问的，所以我们不仅需要换个请求头，并且加上cookie相应的值，假装我们是通过百度去访问的

import requests
def getHtmlText(url):
    try:
        r=requests.get(url,timeout=30)
        r.raise_for_status()#如果状态不是200，引发httperror异常
        r.encoding=r.apparent_encoding
        return r.text
    except:
        r .encoding = r.apparent_encoding
        print(r.text)
        **#<h4>请输入您在下方看到的字符</h4>
        # <p class="a-last">抱歉，我们只是想确认一下当前访问者并非自动程序。为了达到最佳效果，请确保您浏览器上的 Cookie 已启用。</p>**
        
        #print(r.request.headers) 
        #请求头：{'User-Agent': 'python-requests/2.25.1', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive'}

		#从亚马逊网址得到的User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/88.0.4324.104 Safari/537.36
        
        return '产生异常'
if __name__=="__main__":
    url="https://www.amazon.cn/gp/product/B01M8L5Z3Y"
    print(getHtmlText(url))

正确代码：更改了user-agent,以及cookie

import requests
def getHtmlText(url):
    try:
        kv = {'user-agent': 'Mozilla/5.0','cookie':'session-id=461-7339993-2852731; ubid-acbcn=461-9820123-9968107; i18n-prefs=CNY; session-token=EomRrKY9moVqf2uYdI2tCbldpivHBUdYwDwJqIdtgODRWixt5S7U5So48DZH1aE/3b/T3lAvYMqxjT7OF4oNmU6Z8WlvqmLkDHCbPF9EcDFr2nvX4kg89r7P91LaD48DxE99IrWrWwSnxVzzVfEpwBpYrTsM0lAp/pwaqtWl1oPzXAW8uawwtNtA8XC/Q5sW; session-id-time=2082729601l'}
        #当你用默认请求头去访问百度网站，只会返回一小段的内容，而用浏览器去访问，就有非常多的内容。
        # 因为服务器识别出默认的请求头不是一个正常的浏览器，所以只会返回一点。
        # 所以需要发送带header的请求
        #作用：模拟浏览器，获取和浏览器一样的内容
        r=requests.get(url,timeout=30, headers = kv)
        r.raise_for_status()#如果状态不是200，引发httperror异常
        r.encoding=r.apparent_encoding
        return r.text
    except:
        return '产生异常'
if __name__=="__main__":
    url="https://www.amazon.cn/gp/product/B01M8L5Z3Y"
    print(getHtmlText(url))