网络爬虫之requests的get方法笔记

最新推荐文章于 2025-06-04 15:22:15 发布

原创最新推荐文章于 2025-06-04 15:22:15 发布 · 592 阅读

1 ·

CC 4.0 BY-SA版权

欢迎转载，但要标明出处！

爬虫专栏收录该内容

14 篇文章

订阅专栏

本文介绍使用Python的requests库爬取新浪微博网页内容的方法，包括获取网页源码、头部信息、Cookie值、响应编码及状态码等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

我们以新浪微博为测试对象

import requests
url = "https://weibo.com/"
res = requests.get(url)

返回网页内内容

text = res.text  #类型为字符串
con = res.content  #类型为二进制字节流

返回头部信息

header = res.headers  
type(header)
# requests.structures.CaseInsensitiveDict，注意这里不是普通的字典格式，

返回cookie值

cookie = res.cookies

猜测的响应内容编码方式

encode = res.encoding

分析响应内容的编码方式

ap_en = res.apparent_encoding

响应状态码

status = res.status_code

返回请求方式

request = res.request

判断请求是否正常

ok = res.ok #返回类型为布尔值

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

梅花14

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

网络爬虫（Python：Requests、Beautiful Soup笔记）

算法工程师

11-26

2024

网络爬虫（Python：Requests、Beautiful Soup笔记）

【Requests库】{1} ——Requests库的get()方法

Giyn

03-09

840

Requests库的get()方法获得一个网页最简单的两行代码就是： import requests r = requests.get(url) Requests对象是内部生成的 requests.get()返回的内容用r表示，r是一个Response对象 python是大小写敏感的，所以R是大写的 requests.get()的完整使用方法： requests.get(url, p...

参与评论您还未登录，请先登录后发表或查看评论

1. 获取数据-requests.get()

最新发布

kk_lzvvkpj的博客

06-04

1197

如果想用python做接口测试，我们首先有不得不了解和学习的模块。它就是第三方模块：Requests。虽然Python内置的urllib模块，用于访问网络资源。但是，它用起来比较麻烦，而且，缺少很多实用的高级功能。更好的方案是使用

requests.get()

sunny

03-08

711

requests.get(url, params=None, **kwargs) url: 获取页面的url链接 params：url中的额外参数，字典或者字节流等形式，可以选择 **kwargs：12个控制访问的参数 Response对象的几个属性如下：例如： import requests re = requests.get('http://baidu.com') x = re.status_code # 打印状态码 print(x) # 检查返回的内容 print(re.text

python接口自动化测试(二)-requests.get()

weixin_33743880的博客

09-06

202

环境搭建好后，接下来我们先来了解一下requests的一些简单使用，主要包括： requests常用请求方法使用，包括：get，post requests库中的Session、Cookie的使用其它高级部分：认证、代理、证书验证、超时配置、错误异常处理等。本节首先来了解一下requests库中如何发送get请求：一、看下方法定义： 1、到...

Requests--get( )方法

weixin_45981384的博客

07-06

1万+

一、基本内容 requests.get( )方法 1.至少有一个参数。（接口的地址） 2.有返回值的方法。返回值就是本次请求的服务器响应结果

学习笔记(10):21天搞定分布式Python网络爬虫-requests库-使用代理

12-22

Requests使用代理时出错，网上搜索了一下，原来...resp = requests.get(url,proxies=proxy) print(resp.text) 学习:https://edu.csdn.net/course/play/24756/280668?utm_source=blogtoedu 下面是报错代码 import req

Python爬虫与Requests库笔记.md

08-26

### Python爬虫与Requests库知识点总结 #### 一、爬虫概述 1. **定义**： - 爬虫是一种自动化的程序工具，主要用于从互联网上抓取数据。 - 它通过模拟人类浏览器的行为，对网页进行访问并提取所需的信息。 2. *...

爬虫基础知识之requests和lxml

12-05

Requests库是Python进行网络请求的一个简单而强大的库，它提供了简单易用的方法来进行各种HTTP请求，包括GET和POST等。 ##### Requests库的安装在Windows平台，我们可以通过以管理员身份运行cmd，执行以下命令...

2. requests.get()函数访问网页(小白入门)

weixin_63986098的博客

06-04

4755

【人工访问网页】在浏览器中输入网址。回车【Enter】。得到搜索结果。这个动作其实就是浏览器向网页所在的服务器发送了一个请求。服务器接收到浏览器的请求后进行处理，返回响应内容，传给浏览器。这个过程我们称之为响应。最后浏览器再对响应内容进行渲染，将网页呈现了出来。所以浏览器与服务器之间，是一个先请求，后响应的关系。【备注】图片来源于风变编程。爬虫的第一步是获取网页。获取网页中最关键的一步就是模拟浏览器向服务器发出请求。Python中有很多库都可以实现向服务器发送请求。今天，我们先来学习requests库。re

python 爬虫基于requests模块的get请求

weixin_30593443的博客

08-19

2066

需求：爬取搜狗首页的页面数据 import requests # 1.指定url url = 'https://www.sogou.com/' # 2.发起get请求:get方法会返回请求成功的响应对象 response = requests.get(url=url) # 3.获取响应中的数据：text属性作用是可以获取响应对象中字符串形式的...

Python之requests.get()

m0_63952680的博客

06-14

3865

requests.get() 用法

Requests库的get()方法

cxrpty的博客

09-07

3262

获取一个网页最简单的方法就是：构造一个向服务器请求资源的Request对象，返回一个Response对象即r，其包含从服务器返回的所有的相关资源 r = requests.get(url) requests.get()完整的使用方法有三个参数 requests.get(url,params=None，**kwargs) url：获取页面的url链接 params：url中的额外参数，...

啦啦啦~~

06-01

2385

在写爬虫的时候发现requests(url)之后得到的responses.text,这里的中文都是" ´óÊý¾ÝÍÚ¾ò¹¤³ÌÊ£¨Ò½ÁÆ½¡¿µ·½Ïò£©"这种乱码，懵了，之前没见过百度也没百度到，最后看到网上的一个方法，说把responses转化一下转成gbk编码的，然后试了一下中文就出来了，不知道有没有小伙伴跟我遇到同样的问题。主要原因在于解码时候用的是utf-8，但是这个网页的...

接口测试 —— Requests库GET请求

m0_58026506的博客

09-11

1613

Requests库GET请求是使用HTTP协议中的GET请求方式对目标网站发起请求。（不带参数的GET请求请看上一篇文章的练习）1、Requests库待参数的GET请求，使用Get方法带参数请求时，是params=参数字典，而不是data=参数字典。data=参数字典是post方法的参数。

12天Python爬虫学习的总结和思考

Trial & Error

01-31

1349

爬取网页的过程 1.发送请求和获取相应 2.对获取的response进行想要的信息的提取 3.对信息进行存储 (1)发送请求和相应基本的是requests库的使用共有参数： headers headers以字典形式添加，有的网页需要多一点的头部信息才可以获得响应。可以人为的删除一些没必要的头部信息。 nb一点的用法，生成随机的头部信息用fake_useragent这个库，要pip instal...

Python爬虫入门教程：requests库基础应用

* Requests 库的 7 个主要方法：request()、get()、head() 等 * 使用 Requests 库抓取网页数据的步骤 * 状态码和编码的解释 **使用 Beautiful Soup 解析网页** * Beautiful Soup 库的安装和使用 * Beautiful Soup ...