urllib和requests库爬取同一个页面的内容居然不一致？出什么问题了？

最新推荐文章于 2023-09-21 11:00:23 发布
最新推荐文章于 2023-09-21 11:00:23 发布
阅读量732 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 爬虫 文章标签： python 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/GH_learn_IT/article/details/112003573
本文介绍了在使用Python的urllib和requests库爬取同一页面时，发现内容不一致的问题。具体表现为requests获取的内容较少。通过参考其他博客，找到了原因：requests默认不执行JavaScript。解决方案是在requests.get()中添加请求头，模拟浏览器行为，例如设置User-Agent。添加请求头后，代码能正确爬取到与浏览器相同的内容。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、感谢以下博客的内容参考

妖白

《requests.get为什么得到的内容和查看源文件不一样？》

https://blog.youkuaiyun.com/qq_24753293/article/details/78683678?utm_medium=distribute.pc_relevant_bbs_down.none-task--2~all~baidu_landing_v2~default-1.nonecase&depth_1-utm_source=distribute.pc_relevant_bbs_down.none-task--2~all~baidu_landing_v2~default-1.nonecase

二、今天突然遇到的问题

——urllib和requests库爬取同一个页面的内容居然不一致？

以百度为例

urllib requests
import urllib.request
re = urllib.request.urlopen("http:/
最低0.47元/天 解锁文章
[Python从零到壹] 七.网络爬虫之Requests爬取作者个人博客网站及CSV存储
杨秀璋的专栏
02-25 1万+
前一篇文章讲述了 BeautifulSoup 爬取豆瓣TOP250电影，通过案例的方式让大家熟悉Python网络爬虫。这篇文章将详细讲解Requests库爬取个人博客信息，并存储至CSV文件。该案例非常适合入门的案例，也能普及简单的预处理知识。 希望对您有所帮助，本文参考了作者优快云的文章和学生杨友的博客，从学生的角度实现网络爬虫，可能对读者更友好。
python抓取数据并修改_2、Python 使用Requests库通用爬取数据操作
weixin_30821291的博客
02-10 1665
1、requests作用：就是一个基于网络请求的模块，可以用来模拟浏览器发请求。环境安装：pip install requestsrequests模块的使用流程：指定一个字符串形式url发起请求获取响应数据持久化存储实现一个简易的网页采集器爬取到任意关键字对应的页面源码数据简单需求：爬取搜狗首页的页面源码数据import requests#指定一个字符串形式urlurl = 'https://ww...
Css实现页面元素置顶时悬浮
夏已微凉、
10-24 2280
一、描述二、思路三、解决四、代码 一、描述 当页面的标题不在页面显示时，把标题固定在页面顶部。 二、思路 通过比较元素距离窗口顶部的距离，Y轴滚动条距离窗口顶部的距离，来设置标题的样式； 如果数据足够多，就不会有问题； 问题重现,【 浏览器：火狐浏览器，分辨率：500 * 500】。如下图，你会发现Y轴滚不到最下面。 三、解决 不用Js计算距离，直接通过Css样式设置。 请打开以下代码<style>标签里的内容，注释titleTop()方法。 四、代码 <html> .
滚动悬浮到顶部css
weixin_46733392的博客
06-07 352
topFixed{top: 0;
vant 日历插件slots_vue的vant组件库中的slot如何按需使用呢
weixin_39723920的博客
12-20 1583
问题描述以sku组件为例，有留言部分是项目不需要的。需要去除，官方定义了这部分的slot的name值为sku-messages。如何优雅的隐藏这部分呢，我想只在父元素的这个标签上修改，不去组件内部改源码可以做到吗？以下是标签。相关代码v-model="showStepper":sku="skuData.sku":goods="skuData.goods_info":goods-id="skuDat...
【css】如何实现自定义滚动悬浮置顶、固定表头
hzxOnlineOk的博客
09-21 5306
到一个元素时，如果内容超出容器的尺寸，则会显示一个滚动条。与 scroll 不同的是，滚动条是以浮动的方式显示在内容上方，不会占用容器的空间。当应用于元素时，该元素在滚动时会固定在父容器的指定位置，直到滚动到达特定的位置或条件满足后，才会取消固定定位。这意味着，即使内容超出容器的高度，也不会显示滚动条或剪裁溢出的部分。：内容超出容器高度时，会根据需要设置是否显示滚动条，如果内容没有超出容器高度则不显示滚动条。：如果内容超出容器的高度，将显示滚动条，用户可以滚动查看超出的内容。：溢出的内容将被隐藏，不显示。
CSS - 快速实现悬浮吸顶，当页面滑动一定距离时固定吸附在顶部（position: sticky）
王二红
09-13 2374
* 核心属性,必须设置top,left或者bottom,right位置 *//* 或: bottom: xx, right: xx *//* 子节点(悬浮吸顶外层容器) */当被其他高层级容器遮挡时，请设置。/* 根节点(父容器) */文件，一键复制运行起来。
python爬取内容和f12不一致_爬取页面和审查元素获取的内容不一致
weixin_39686634的博客
11-30 4037
今天看书看到 图片爬虫实战之爬取京东手机图片 这一节，想着自己动手练习一下，因为以前看过视频所以思路还是比较清晰，主要是为了复习巩固刚刚学的正则表达式。打开京东手机页面，https://list.jd.com/list.html?cat=9987,653,655&page=1&sort=sort_rank_asc&trans=1&JL=6_0_0#J_main审查元素发现手机图片有两种格式：1.每...
Python爬虫篇二之利用re正则爬取豆瓣页面练习
XahY66的博客
07-04 6017
在我的爬虫一篇中，咱了解到了大概的爬虫思路，那么咱带着思路进一步研究爬虫技术 今天我们要用到re这个模块，对爬取到的内容进行清洗，拿到具体想要的内容 首先我们要了解re这个模块的功能，主要就是利用正则表达式，来提取内容 正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。 Python 自1.5版本起增加了re 模块，它提供 Perl 风格的正则表达式模式。 re 模块使 Python 语言拥有全部的正则表达式功能。 compile 函数根据一个模式字符串和可选的标志参数生成一
小程序vant-weapp的日历组件的使用
前端视听
11-05 1926
话不多说，记录一下这个框架的使用~小程序使用轻量、可靠的小程序 UI 组件库 vant-weapp Github源码：https://github.com/youzan/vant-weapp 中文文档：https://vant-contrib.gitee.io/vant-weapp/#/intro 1：打开微信开发者工具，填写自己的appid和项目名称，选择不使用云服务，新建一个项目。 2：右击在选择在终端打开 进入项目的根目录底下，注意，一定要进入根目录哦，使用cd …/返回上一级目录~ 3：小
vue组件化中slot的基本使用方法
10-17
主要给大家介绍了关于vue组件化中slot的基本使用方法，文中通过示例代码介绍的非常详细，对大家学习或者使用vue具有一定的参考学习价值，需要的朋友们下面来一起学习学习吧
css悬浮在页面顶端
烧烤电影香烟和啤酒
11-24 1万+
.header{ position:fixed; margin-top:0; width:100%; z-index:9999; } .body{ position:relative; padding-top:119px; width:100%; } ------------------------------------------------------------------------...
python爬虫的urllib与requests的对比
SEGeeK的博客
08-30 9487
 关于爬虫，python中就有很多相关的包，今天我们就来介绍一下urllib与requests的区别，以爬取百度翻译为例，首先我们访问百度翻译，F12，了解到使用的方法为post，好了不多说了上代码 ###urllib from urllib import request,parse import json if __name__ == '__main__': while True...
vant组件slot使用，vue实现单选多选
qq_42301244的博客
10-26 6540
10月第三周总结总结所做所学vant 搜索框组件slot使用单选多选布局小技巧带右箭头的栏横向滚动下一步计划 总结所做所学 这周做的是一个学长布置的类京东商品列表页和商品详情页，还有很多不懂，没有全部完成，先把做了什么，学了什么，怎么用组件等小小的记录一下。不多说 vant 搜索框组件slot使用 可见slot要加template使用 <van-sticky> <van-search v-model="value" placehold
CSS让div层悬浮在最上方
热门推荐
夜色微凉
06-24 7万+
效果如下： 这里是使得一张div里面的图片悬浮在了地图的上方，css代码如下 .tl { width: 240px; height: 193px; position: absolute;/*这里一定要设置*/ z-index: 999999;/*这里是该元素与显示屏的距离，据说越大越好，但是我也没有看到效果，因为没有它也是可以的*/ margin-top: 20%; mar
vant 日历插件slots_vant 日历组件 获取当前时间
weixin_39968490的博客
12-20 842
(1)html元素{{date_choose}}(2)data数据// 页面日历选择默认值date_choose: '',// 页面日历选择弹出层date_choose_show: false,minDate: new Date(2010, 0, 1),(3)createcreated() {//初始化日期this.getToday();},(4)methodsmethods: {//获取今天的日...
如何解决urllib.request找不到问题
syh_486_007的专栏
02-11 1万+
python 3.x中urllib库和urilib2库合并成了urllib库， 其中urllib2.urlopen()变成了urllib.request.urlopen() urllib2.Request()变成了urllib.request.Request() 因此，python3.x得版本中可以使用urllib.request库； 但是在python2.7的库中，还是得使用urllib2.u
css样式元素浮动并置顶， position: sticky 案例演示
weixin_45941687的博客
11-24 2438
前言 前端框架 uniapp 样例展示 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np import pandas as pd import m
css 浮动在最上层_css样式如何控制div到最顶层
weixin_34530398的博客
12-23 1万+
展开全部1、新建一个html文件，命名为test.html2、在test.html文件内，使用css设置页面所有的div宽度为300px，高度为300px，div的位置为绝对定位。e68a8432313133353236313431303231363533313334313663343、在test.html文件内，创建三个div，并用文字标识，分别为底层div、中层div、最顶层div。4、在te...
使用python写一个程序实现爬取网页中的视频并下载到桌面上
最新发布
03-12
Python里常用的库是requests和urllib。但是有些网站用的是JavaScript动态加载内容，这时候可能需要用Selenium或者Playwright这样的工具来模拟浏览器行为。不过对于新手来说，Selenium可能会有点复杂，得先安装浏览器...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值