python 中文处理----全角半角以及查看编码值

最新推荐文章于 2024-04-18 18:00:00 发布
最新推荐文章于 2024-04-18 18:00:00 发布
阅读量1.8k 收藏
点赞数
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/xyqzki/article/details/46448755
本文探讨了UTF-8编码下半角全角字符的区别，重点解释了如何使用repr函数来查看不同字符的编码值，并区分了Unicode（u）与UTF-8（x）编码方式的不同。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. 对utf-8 而言，半角全角对所有中文字都是一样的，而对于英文和标点以及特殊符号的编码值是不一样的


2. 用repr查看编码值


3. \u表示 unicode编码，\x是utf8编码

xyqzki
关注
Python基础--文件和文件中的数据处理
weixin_68864415的博客
06-02 1214
主要介绍讲解了python中文件的处理语法
educoder平台课-Python程序设计-1.导学和基础-知识梳理
kotomi1219的博客
01-15 675
python基础知识和环境搭建
全角转半角/半角转全角（Python）
落枫驿站
08-08 1259
python小练习
半角，全角，编码
weixin_30507269的博客
12-27 224
基本上可以参考 百度百科：http://baike.baidu.com/view/517185.htm 下面简单拿几个例子介绍下： char * psz1 = "％％";　　　　// 全角 ASCII char * psz2 = "%%";　　　　// 半角 ASCII wchar_t * pwsz1 = "％％";　　// 全角Unicode wchar_t * pwsz2 = "%...
全角半角编码问题
tbzhang30的专栏
05-11 1854
昨天给银行维护一个运行多年的程序，socket通信类程序。发现接收到的报文较原报文长度少了几位导致报文转换出错。经过分析发现是数据编码问题，getbytes() 和 string 后长度不一致。原报文中的有全角的标点字符。由于是运行多年的程序不知道对方的数据编码也无从询问，经过一番测试gbk  gb2312 utf-8 等都不行。最后通过度娘 查询到 gb18030这个编码，解决了问题。在此处做个...
ASCII、Unicode、UTF-8、GBK、全角/半角
tt丫的博客
07-01 2168
1、ASCII 2、Unicode 3、UTF-8 4、GB2312 5、GBK 6、\u和\x 二、相互转化 1、str 与ASCII 2、str与utf-8 3、str转gbk 4、在编码时想看到底是哪个字符编码失败时，引用try except查看
Python实现全角与半角相互转换
不撸先疯。
08-08 4642
全角与半角转换在处理汉语语料中会经常出现，这里分别说明汉字、数字、字母的unicode编码范围。以及全角与半角的转换方法。最后给出wiki上全角和半角的编码对照表。这里Python需要用Python3版本。......
Python编程：全角半角字符互转的简单实现与映射规则
Python通过其强大的字符串处理功能和内置函数，使得全角半角字符的互转变得非常方便。理解并掌握这些基本的编码规则和函数，对于处理文本数据、字符串操作以及编码问题至关重要。在实际应用中，根据具体需求可能还...
全角半角是什么
最新发布
04-21
全角字符和半角字符是在计算机处理文本时，用于描述字符占用空间大小的一种分类方式。这一概念在东亚地区的字符集（如中国的GB2312、BIG5，以及日韩的字符编码）中尤为常见[^1]。 #### 定义 - **全角字符**：指占据...
全角转半角转换器：一键实现字符编码转换
在这个知识点中，我们将详细探讨全角与半角字符的区别，全角转半角程序的工作原理以及应用场景，以及如何使用全角半角转换器.exe这类软件工具进行字符转换。 首先，全角与半角字符的概念主要来源于东亚文字处理中，...
python匹配文本中全角符号的两种方法
热门推荐
xys228280987的博客
03-31 1万+
在对文本进行处理的时候经常会遇见要对括号和标点进行匹配 常见的英文(半角)符号如( ) 直接用正则匹配即可 但是遇见全角字符(中文括号、标点)，直接用正则匹配会存在问题： 因为编码一般为utf8，若直接匹配，中文括号的3字节编码会和一些中文的字节编码重复，产生意想不到的结果 若用decode转为unicode编码，则可避免产生错误结果，但也无法直接用正则匹配到 经过试验，发现最佳解决方法
python全角数字_Python实现全角半角字符互转的方法
weixin_39860975的博客
12-11 430
前言相信对于每一个编程人员来说，在文本处理的时候，经常会遇到全角半角不一致的问题。于是需要程序能够快速的在两者之间互转。由于全角半角本身存在着映射关系，所以处理起来并不复杂。具体规则为：全角字符unicode编码从65281~65374 (十六进制 0xFF01 ~ 0xFF5E)半角字符unicode编码从33~126 (十六进制 0x21~ 0x7E)空格比较特殊，全角为 12288(0x30...
中文在UTF8和GBK编码中的范围
极客神殿
10-07 1万+
编码范围 1. GBK (GB2312/GB18030) x00-xff GBK双字节编码范围 x20-x7f ASCII xa1-xff 中文 x80-xff 中文 2. UTF-8 (Unicode) u4e00-u9fa5 (中文) x3130-x318F (韩文) xAC00-xD7A3 (韩文) u0800-u4e00 (日文) ps: 韩文是大于[u9fa5]的字符 正则例子（使用PHP）: preg_replace(“/([x80-xff])/”,”",$str); //GBK中匹配 p
python 判断字符串为全角
Xiaoweidumpb
09-20 1466
【代码】python 判断字符串为全角。
基于Python实现全角转半角的方法
2401_84204207的博客
04-18 1715
在处理文本数据时，全角字符与半角字符的转换是一个常见的需求。使用Python，我们可以通过多种方法来实现全角字符到半角字符的转换，包括简单的替换方法、使用map函数和lambda表达式以及正则表达式替换等。选择合适的方法取决于具体的应用场景和个人喜好。通过本文介绍的方法，您可以轻松地实现全角字符到半角字符的转换，以满足不同的文本处理需求。
python全角半角的相互转换
h18208975507的博客
04-19 3104
# 转换说明 # 全角半角转换说明 # 有规律（不含空格）： # # 全角字符unicode编码从65281~65374 （十六进制 0xFF01 ~ 0xFF5E） # 半角字符unicode编码从33~126 （十六进制 0x21~ 0x7E） # # 特例： # 空格比较特殊，全角为 12288（0x3000），半角为 32（0x20） # 正则直接把全角空格替换为半角空格 text2 = re.sub('\s+', ' ', str1) # # 除空格外，全角/半角按unicode编码
python全角数字_用Python转换一些常见全角字符为半角
weixin_39797264的博客
12-11 590
前言最近在爬日文小说的过程中，经常遇到全角(甚至和和半角混用)，造成我(强迫症)强烈不适，就着手专门写一个脚本处理之思路首先在网上寻找看是否已经有现成库/脚本能做到，寻找一番之后只找到一些思路文章，这里就不重复了有一点要注意，不少文章里是python2的情况，里面用的是unichr函数，到python3就变成了chr函数直接看代码吧def SBC2DBC(char):chr_code = ord(...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值