Python解决乱码万能方法以及一些个人思路_一蓑烟雨任平生

【Python】Python 输出中文乱码问题解决 Python的字符编码遵循Unicode标准,但在不同的操作系统和编程环境下会有不同的默认字符编码,导致中文输出出现乱码等问题。解决中文输出乱码的问题,需要先理解编码和解码的概念。 阅读详情


前言

最近粉丝在爬取文章时,总遇到乱码,而不知道该如何下手,这里就总结一下应对乱码的方法

一、乱码是什么

乱码,指的是由于本地计算机在用文本编辑器打开源文件时,使用了不相应字符集而造成部分或所有字符无法被阅读的一系列字符。造成其结果的原因是多种多样的。

二、解决方法

1.第一种:

乱码的产生可能是因为

全部搞成utf-8格式,然后忽略别的所有格式格式

具体操作就不写了,请看我的另外一篇文章

编码解码解决

2.第二种:

这里拿猫眼电影来举例

https://maoyan.com/board/4

抓取这个网址

在这里插入图片描述
可以看到这里出现了很多看不懂的乱码

第一步:查看网页编码

思路:

我们可以利用apparent_encoding函数进行查看网页支持的编码格式
然后用encoding查看网页返回给我们的编码格式,进行转换即可
在这里插入图片描述
我们可以看到,这里支持的编码格式是utf-8

而网页返回我们的却是ISO-8859-1

第二步:转换编码

利用encode编码(这里是网页返给我们的编码),然后利用decode解码(我们想要的支持的编码)
在这里插入图片描述
解码成功,其实很简单,了解返回的编码格式,然后找到支持的编码格式,利用解码 和 编码 进行格式转换

总结

文章不算很长,需要自己慢慢体会,今天就到这里啦,下次博客见哈

感觉不错,可以关注下哈

在这里插入图片描述

【NLP】使用 PyTorch 从头构建自己的大型语言模型 (LLM) 如果我们在 n 维空间中绘制一个向量,看起来相似的物体(如狗和猫)将彼此靠近,而看起来不相似的物体(如学校和家庭)的嵌入向量将位于更远的地方。为此,我们将使用一种流行的标记器,称为 BPE 标记器,这是一种子词标记器,正在 GPT3 等模型中使用。:前馈网络使用深度神经网络来学习两个线性层(第一层有 d_model 节点,第二层有 d_ff 节点,根据注意力论文分配值)中嵌入向量的所有特征,并且将 ReLU 激活函数应用于第一线性层的输出,为嵌入值提供非线性,并应用 dropout 以进一步避免过度拟合。 阅读详情

相关推荐

Temporal Fusion Transformer(TFT)与扩散模型融合:时间序列预测新范式

本文探讨了Temporal Fusion Transformer(TFT)与扩散模型融合的时间序列预测新范式。该融合方案利用TFT强大的特征提取与可解释性,为扩散模型提供精准的“导航图”,从而在噪声数据中实现鲁棒预测,并原生支持不确定性量化,输出完整的概率分布与置信区间,为金融、能源等领域的风险决策提供更可靠的依据。

weixin_29096377的博客 286

Python 乱码原理及其解决办法

Python 乱码原理及其解决办法 HTML 解析 爬虫 编码 解码 乱码

qq_37453155的博客 9657

【FPGA】AD9694调试注意事项

基于FPGA的AD9694设计及其注意事项,包括同步的设计注意事项

weixin_41246509的博客 2898

关于python中文乱码的一些问题和解决办法

eclipse+python2.7+MySQL 中文乱码

xiangrikuidweixiao的博客 2240

robomimic实验复现全流程指南:从数据集下载到训练视频生成

本文提供了RoboMimic实验复现的完整实战指南,重点解析了从数据集下载、配置文件定制到模型训练与评估的全流程。以tool_hang任务为例,详细说明了环境准备、数据获取、训练监控及视频生成等关键步骤,并针对常见问题给出了排查方案,帮助研究者高效完成机器人模仿学习实验的闭环验证。

2w3e4r5t6y的博客 1030

南邮-软件设计实验(C++版)

南邮软件设计 A档 一、分数统计 课题内容:   设计一个分数统计程序。包括学生信息的输入输出以及排序。通过该课题全面熟悉数组、字符串、文件的使用,掌握程序设计的基本方法及友好界面的设计。 课题要求: (1)输入某班级学生的姓名、分数; (2)对(1)的分数进行降幂排列并输出; (3)具有输入输出界面。 示例代码: #include<bits/stdc++.h> using...

Dainelcw 1万+

告别乱码!Python文件编码救星来了

始终明确指定编码:不要依赖默认设置统一使用UTF-8:新项目一律使用UTF-8编码添加编码声明:在Python文件开头添加:处理外部文件时先检测:对来源不明的文件先检测编码。

YAnt的博客 880

用本地 Chrome + DeepSeek 实现浏览器自动化:browser-use 实战与踩坑记录

本文记录了使用本地Chrome浏览器结合DeepSeek API实现浏览器自动化的实战经验。作者通过browser-use项目连接本地Chrome(启动时需添加--remote-debugging-port=9222参数),并解决了DeepSeek API不支持response_format的问题,通过设置dont_force_structured_output=True和add_schema_to_system_prompt=True成功绕过。同时分享了任务描述需精准的重要性,避免Agent输出多余信息导

LY的博客 750

python如何解决中文乱码问题

强制转换为unicode编码,在 Python 中编码是可以互相转换的,比如从utf-8转换为gbk,不同编码之间不能直接转换,需要通过unicode字符集中间过渡下,从上面基础知识可知unicode是一种字符集,不属于编码,而utf-8是具体实现unicode思想的一种编码。raw_input 是获取用户输入值的,获取到的用户输入值和当前运行环境编码有关,比如 cmd 下默认编码是 gbk,那么输入的汉字就是以gbk编码,而不管 demo.py 文件编码格式和编码声明。

hakesashou的博客 2893

【unity游戏开发入门到精通——UGUI】UI控件 —— Toggle开关切换控件

【unity游戏开发入门到精通——UGUI】UI控件 —— Toggle开关切换控件

向宇的博客,专注php/web全栈 unity游戏开发,欢迎大家评论纠错 1844

RT-DETR的AIF模块+YOLOv8:融合注意力与特征交互,打造实时检测的科研级进阶方案

从理解AIF模块“细粒度注意力+跨尺度交互”的核心设计,到亲手将其嵌入YOLOv8并验证在复杂场景的表现,再到基于此探索属于自己的科研与工程方向——这个过程能让你深刻理解“注意力机制与CNN融合”在实时检测中的核心价值。现在就开始行动,相信你会在实时目标检测的“智能进化”之路上,走出一条属于自己的技术路径。从实验对比图可见,集成AIF模块的YOLOv8,其mAP(平均精度)在多个阈值下均有提升,尤其是mAP50-95(高IoU阈值下的精度)提升更为显著,充分证明了AIF对细粒度特征的捕捉能力。

m0_64661770的博客 186

【Python学习笔记】出现乱码问题之解决方案汇总

【使用notepad++&cmd】 1.无法输出中文: import urllib2 import cookielib url = "http://www.baidu.com" print "第一种方式" response1 = urllib2.urlopen(url) print response1.getcode() print len(response1.read()) print r

PPPPluie的博客 524

152:vue+leaflet 判断一个点是否在一个电子围栏内

本文介绍了一个基于Vue+Leaflet的示例,演示如何判断点是否在电子围栏内。作者大剑师兰特(优快云知名博主)展示了使用polygon.getBounds().contains(latlng)方法检测点与多边形边界的关系。代码仅需80行,通过点击地图触发判断逻辑,结果显示提示信息。该技术可广泛应用于地理围栏、位置服务等场景,需要安装turf依赖。文章提供了完整源码和配置说明,适合GIS开发者学习参考。

大剑师兰特的GIS世界 756

14 Python进行数据乱码处理

我们在爬取网页时,结果会出现乱码,这是因为编码不一致的原因导致的,那么如何解决这样的问题就显得非常重要。

Eric005的博客 2245

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

解决python中文乱码问题

解决python中的中文乱码问题

m0_66695483的博客 1万+

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

‘gbk‘ codec can‘t encode character出现的原因及解析

问: f = open(FileName,‘w+’,’) f.write(pyperclip.paste()) f.close() UnicodeEncodeError: ‘gbk’ codec can’t encode character ‘\xa0’ in position XXX。 崩溃了。 答: pyperclip.paste(),这个是黏贴板的数据,数据格式为str,默认为unicode,内部含有中文。新打开的FileName默认为GBK格式。写入时:unicode->GBK。有些文字无法转

qq_33716048的博客 838

最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版

Part-E1-SDIO-Specification-Ver4.00-Final-120220.pdf:最新的sdio 4.0 spec 协议标准 带书签 高清完整PDF版,包括SDIO 接口的外设,SDIO 接口官方协议等。

Python全自动解密解码神器 — Ciphey

Ciphey 是一个使用自然语言处理和人工智能的全自动解密/解码/破解工具。简单地来讲,你只需要输入加密文本,它就能给你返回解密文本。就是这么牛逼。有了Ciphey,你根本不需要知道你的密文是哪种类型的加密,你只知道它是加密的,那么Ciphey就能在3秒甚至更短的时间内给你解密,返回你想要的大部分密文的答案。下面就给大家介绍 Ciphey 的实战使用教程。

python_first1的博客 1119

执行pyshark报错的解决方法 lxml.etree.XMLSyntaxError: Input is not proper UTF-8, indicate encoding !

python代码 import pyshark cap = pyshark.FileCapture(r'E:\test.pcap') def print_conversation_header(pkt): try: protocol = pkt.transport_layer src_addr = pkt.ip.src src_port = pkt[pkt.transport_layer].srcport dst_addr =

weixin_42612178的博客 1734

python乱码怎么解决方法_python中文乱码的解决方法

python中文显示乱码,已经在开头有了coding: utf-8那日小编狂哭不止,曾经差一点想过死,多少艰辛不可告人,多少光阴都因为等。直接print是乱码,但是如果在打印的内容前面加上u就正常了,这是为什么乱码原因:因为你的文件声明为 utf-8,并且也应该是用 utf-8 的编码保存的源文件。但是 windows 的本地默认编码是 cp936,也就是 gbk 编码,所以在控制台直接打印 ut...

weixin_39713538的博客 1万+

python编码格式 兼容中文_python中文编码(汉字乱码问题解决方案)

Python脚本对英语字母是非常友好的,但对中文就不是了。我们用 Python 输出 "Hello, how are you!",英文没有问题,但是如果你输出中文字符 "你好!" 就有可能会碰到中文编码问题。Python中默认的编码格式是 ASCII 格式,在没修改编码格式时无法正确输出汉字,所以在读取中文时会报错。解决方法为只要在文件开头加入 # -*- coding: UTF-8 -*- 或者...

weixin_39660408的博客 688

一文学习python中编码和解码

大家都知道计算机是二进制的世界,计算机系统只能识别数字0和1组成的一串串的数字。1位数字代表1个比特(bit),每8个比特代表1个字节(byte),那么1个字节如果都为数字1,如11111111,代表的最大数字是255。如果是2 个字节最大可以表示为 65535,4 个字节最大表示为4294967295。每一种不同的数字0和1的组合,就可以代表一个字符。ASCII 编码最开始是美国人发明的编码 ASCII ,只能表示 256 个字符,仅支持英文字母,数字和少部分符号。GBK 编码。

kymppcds的博客 5092

python2中文输出代码_python print中文乱码问题 win10 Python2

展开全部因为62616964757a686964616fe78988e69d8331333431343035windows默认的编码方式是GBK,python文件保存时使用了utf-8,在读取时,python使用GBK的编码表去解utf-8编码的字节码,因为GBK与UTF-8编码不兼容,自然出现了乱码问题解决方法:1.直接使用 u'是' 形式,指明以unicode编码,解码方式会以顶部 #codi...

weixin_39562338的博客 363

彻底搞懂 python 中文乱码问题_彻底搞懂 python 中文乱码问题(深入分析)

前言曾几何时 Python 中文乱码的问题困扰了我很多很多年,每次出现中文乱码都要去网上搜索答案,虽然解决了当时遇到的问题但下次出现乱码的时候又会懵逼,究其原因还是知其然不知其所以然。现在有的小伙伴为了躲避中文乱码的问题甚至代码中不使用中文,注释和提示都用英文,我曾经也这样干过,但这并不是解决问题,而是逃避问题,今天我们一起彻底解决 Python 中文乱码的问题。基础知识ASCII很久很久以前,有...

weixin_31480911的博客 509

python打开文件_Python打开文件乱码问题

内容预览:1、读取文件碰到的问题。2、读取文件设置编码。3,读取文件编码时2和3的区别以及兼容性问题。读取文件碰到的问题我用python读文件内容的时候,抛了个错误,说是UnicodeDecodeError: 'gbk' codec can't decode byte 0x80 in position 16: illegal multibyte sequence,意思说是gbk解码器无法...

weixin_39589644的博客 2903

python处理文乱码的两种方式

最近在写爬虫项目,遇到出现中文乱码的问题,汇总一下总共两种处理方式 这样与那样的乱码很头疼,但是以下方法基本可以解决 python处理中文乱码的问题: 方式一:将要处理的乱码对象设置 encoding = utf-8'' response = requests.get(url=url, headers=headers) # response.encoding = 'utf-8' 方式二:先设置encode的编码为iso-8859-1,再进行encoding的utf-8的设

巴胡子 5080

Win7剪贴板粘贴汉字显示为乱码的解决办法

http://blog.youkuaiyun.com/tanaya/article/details/8684805 最近2天发现在记事本粘贴的时候汉字都显示为乱码了,很纠结,后面发现是【区域和语言】设置中的“文本服务和输入语言”的问题:不知道什么时候默认输入语言变成了“英语(美国) - 美式键盘”,解决办法是: 修改默认输入语言为:“中文(简体,中国) - 中文(简体) - 美式键盘” 即可! 解决前的设...

weixin_34146986的博客 927
上一篇: Python 小白上手的简单爬虫——肯德基——一蓑烟雨任平生
下一篇: Python某宝数据爬取_一蓑烟雨任平生
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值