python2利用urllib2抓取中文网页乱码的问题

小米万兆路由器里的Docker安装可道云(Kodexplorer)私有网盘 小米2022年12月份发布了万兆路由器,里面可以使用Docker。 今天尝试在小米的万兆路由器里安装[可道云](http://kodcloud.com/)(Kodexplorer)私有网盘。 阅读详情

原文地址:http://www.maiziedu.com/article/24347/

环境python2:

问题:r=reponse.read() 为乱码;

解决办法:对于r=reponse.read() 返回的内容使用r=r.decode('utf-8') 和r=r.decode('GB2312')都无效时,乱码应该不是由编码造成的,而是由压缩格式(以gzip压缩格式输出页面);

添加以下两个库

import gzip
import StringIO

对于r=reponse.read()进行处理为:

data = StringIO.StringIO(r)
gzipper = gzip.GzipFile(fileobj=data)
html = gzipper.read()

然后print就正常了。

Foxglove 介绍以及入门使用教程 Foxglove 是由Foxglove 工作室开发的一套工具集,包括和等组件。跨平台支持:可以在 Windows、macOS 和 Linux 上运行。多协议兼容:支持 ROS、ROS 2、CAN 数据以及其他自定义协议。丰富的可视化功能:可以绘制点云、轨迹、激光雷达数据、IMU 数据等。实时与离线模式:既可以实时监控机器人状态,也可以加载和回放记录的数据文件。Foxglove 的 3D 视图允许你以三维方式查看机器人的运动轨迹、传感器数据和其他几何信息。你可以旋转、缩放和平移视图以获得更好的观察角度。 阅读详情

相关推荐

EtherCAT-1 技术概述

1.EtherCAT简介①开放的技术EtherCAT全称EtherNet Control Automation Technology,是由德国倍福(Beckhoff)公司提出的一种实时以太网技术。EtherCAT是一种开放但不开源的技术,意味着您可以任意使用这项技术,但若要进行相关设备的开发,则需要向倍福公司获取相关授权。②快速性相比传统现场总线,EtherCAT的数据传输速率有了极大的提升,可选10Mbit/s或100Mbit/s,甚至依托补充

tianya_xuan的博客 3543

【python】解决urllib2乱码问题

在使用python爬取数据的时候,发现获取到的数据在VSCode中,中文乱码: 错误版本如下: import urllib import urllib2 import sys type = sys.getfilesystemencoding() page = 1 url = 'http://www.qiushibaike.com/hot/page/' + str(page) user_ag

自信的尘埃 www.gocpplua.com 2617

SpringDoc 基本使用指南

SpringDoc 凭借零配置启动注解简洁和深度兼容 Spring 生态的优势,已成为 Spring Boot API 文档的首选工具。自动化- 减少手动维护文档的成本;标准化- 严格遵循 OpenAPI 3 规范;可扩展- 分组、安全控制灵活适配复杂项目。访问即可查看交互式文档(默认路径)

墨鸦的博客 1万+

python 使用urllib2进行https请求时出现'ascii' codec can't decode byte 0xe9 错误

最近在开发公众号,其中进行到菜单开发时,使用urllib模块通过官方提供的https链接进行创建菜单操作: def create(self, postData, accessToken): postUrl = "https://api.weixin.qq.com/cgi-bin/menu/create?access_token=%s" % accessToken if isi

u010483897的博客 1401

RGB接口电容触摸屏驱动(二)接口与时序说明

RGB接口电容触摸屏驱动(二)接口与时序说明

杰克拉力船长个人博客 4916

vc formal实例

gui 方式启动命令,

weixin_45077935的博客 682

python2的urllib2读取网页乱码

Python利用urllib2抓取网页返回乱码的问题 http://wthrcdn.etouch.cn/weather_mini?citykey=101010100 这个天气预报接口,并没有meta指定编码。 又被服务器gzip压缩过。 因此直接读取出来的时候,乱码。 而且这里连英文都乱码,说明不是正常的编码。(我应该早点想到的) 解压缩后就好了。 ps:直

thewindkee的博客 1429

AVM环视算法实战:从3D碗型投影到多场景模式切换的实现与优化

本文深入探讨了AVM环视算法在3D碗型投影和多场景模式切换中的实现与优化。通过分析3D碗型投影的核心原理和动态视角调节技术,展示了如何实现从超广角模式到转向模式的无缝切换。文章还分享了性能优化实战经验,包括实时性提升和图像拼接质量优化,为开发者提供了宝贵的AVM系统开发指南。

weixin_42573113的博客 168

python urllib2遇到Content-Encoding=gzip解码为乱码的解决方案

python urllib2遇到Content-Encoding=gzip解码为乱码的解决方案 用Chrome的开发者工具,查看网页的headers,如果response headers出现Content-Encoding : gzip,则urllib2无法对其内容进行解码。 需要用gzip模块来处理,详细方法如下: yresponse = urllib2.urlopen(url) rsph

biboshouyu的博客 4899

UltraScale+ FPGA中GTY收发器参考时钟的跨Bank共享机制解析

本文深入解析了UltraScale+ FPGA中GTY收发器参考时钟的跨Bank共享机制,详细介绍了时钟布线架构、SLR区域限制及Vivado工程配置要点。通过实际案例和优化建议,帮助工程师解决高速串行通信中的时钟共享问题,提升系统性能。

weixin_29280219的博客 630

【React】1、React入门与概览(JSX语法)

React入门 文章目录React入门一、React全家桶1. React是什么?2. 谁开发的?3. 为什么要学?4. React的特点5. 学习React之前要掌握的JavaScript基础知识二、React 概览组件JSXVirtual DOM关于虚拟DOM:Data Flow三、React基本使用相关js库四、React JSXJSX 语法规则五、模块与组件、模块化与组件化的理解5.1 模块5.2 组件5.4 模块化5.5 组件化 一、React全家桶 React基础 React-Router(R

Coding and studying 1379

Python_Python2利用urllib2抓取中文网页乱码的问题

今天想用urllib2抓去网页源码,出现了问题,print打印显示乱码。 代码一: response=urllib2.urlopen('http://caipiao.163.com/award/').read() 打印之后出现乱码问题。 【1】分析:首先怀疑是编码问题,于是看了网页源代码,发现是utf-8编码,编码是正确的。 <!DOCTYPE HTML> <htm...

m0_38034312的博客 769

RK3568-适配phy芯片ip101gri

复位时间查阅数据手册。

Paper_Love的博客 2643

python urllib2 爬取网页内容

1.python2利用urllib2抓取中文网页乱码的问题 http://blog.youkuaiyun.com/hengwen1991/article/details/51544391 原文地址:http://www.maiziedu.com/article/24347/环境python2: 问题:r=reponse.read() 为乱码; 解决办法:对于r=reponse.read() 返回的内容使

小白鼠丶 939

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

Python urllib2报错"UnicodeDecodeError: 'utf8' codec can't decode byte 0xa1"

用python的urllib2抓取web页面时发现中文显示的乱码: import urllib2 #获取手机号的归属地 url = "http://www.ip138.com:8080/search.asp?action=mobile&mobile=1380013" request = urllib2.Request(url) request.add_header('User-Agent',

clliu的专栏 6231

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

在pycharm中抓取网页URL中文乱码解决方案

python2.7抓取网页url中文乱码解决方式

MrLevo520的博客 1万+

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

Python采集豆瓣网采集到的内容是乱码

采集豆瓣遭遇防采集,就用网上的代码来破解防采集,

东垂小夫 2543

Python问题总结

1.Python抓取网页内容显示中文乱码 解决: 1 #coding=utf-8 2 3 import urllib2 4 import sys 5 6 page = 1 7 url = 'http://www.qiushibaike.com/hot/page/' + str(page) 8 user_agent = 'Mozilla/4.0 (compa...

weixin_34247032的博客 133

python 网页抓取中的中文乱码问题解决

判断是否有gzip格式:

qingyang1014的专栏 879

Python抓取网页&批量下载文件方法初探(正则表达式+BeautifulSoup)

最近两周都在学习Python抓取网页方法,任务是批量下载网站上的文件。对于一个刚刚入门python的人来说,在很多细节上都有需要注意的地方,以下就分享一下我在初学python过程中遇到的问题及解决方法。 一、用Python抓取网页 基本方法: import urllib2,urllib url = 'http://www.baidu.com' req = urllib2.Req

Maverick 4万+

BeautifulSoup 解析中文网页乱码问题

import urllib2 from BeautifulSoup import BeautifulSoup page = urllib2.urlopen('http://www.leeon.me'); soup = BeautifulSoup(page,fromEncoding="gb18030") print soup.originalEncoding print soup.

1464

Python解决抓取内容乱码问题(decode和encode解码)

一、乱码问题描述经常在爬虫或者一些操作的时候,经常会出现中文乱码等问题,如下 原因是源网页编码和爬取下来后的编码格式不一致 二、利用encode与decode解决乱码问题字符串在Python内部的表示是unicode编码,在做编码转换时,通常需要以unicode作为中间编码,即先将其他编码的字符串解码(decode)成unicode,再从unicode编码(encode)成另一种编码。 dec

浅然的专栏 3万+

BeautifulSoup解决中文网页乱码

以下代码,在执行结果中的中文出现乱码。 from bs4 import BeautifulSoup import urllib2 request = urllib2.Request('http://www.163.com') response = urllib2.urlopen(request) html_doc = response.read() soup = Beautif...

weixin_30407613的博客 160

python 处理抓取网页乱码问题一招鲜

FROM:http://my.oschina.net/012345678/blog/122355 相信用python的人一定在抓取网页时,被编码问题弄晕过一阵 前几天写了一个测试网页的小脚本,并查找是否包含指定的信息。 在html = urllib2.open(url).read() 时,打印到控制台始终出现乱码。 一般的解决办法就是html.decode('utf-8...

131
上一篇: 每日读书
下一篇: (一)Python字符串格式化
flyingool
博客等级 码龄15年 44粉丝 47原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值