python 打印与去除不可见字符 \x00

小何才露尖尖角

已于 2023-10-31 16:25:09 修改

阅读量1k

点赞数

分类专栏： Python 环境相关文章标签： python 开发语言不可见字符 \x00

于 2023-10-31 16:09:42 首次发布

本文链接：https://blog.youkuaiyun.com/weixin_40994552/article/details/134142721

版权

Python 同时被 2 个专栏收录

57 篇文章

订阅专栏

环境相关

17 篇文章

订阅专栏

# 此处不是真实的\x00 被 空格替换了
text = "boot_1__normal/                 "
print(text.strip()=="boot_1__normal/")
# 打印不可见字符
print(repr(text))

>>>
False
'boot_1__normal/\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00'

其中strip()只能去掉\r,\n,\t，无法去掉\x00。所以 text.strip()==“boot_1__normal/” 两者不相等

notebook中显示：
在这里插入图片描述

解决方案：

text = text.strip().lower()
print(text.strip(b'\x00'.decode())=='boot_1__normal/')

>>>
True

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

小何才露尖尖角

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Pwn python发送不可见字符串——小端序

MrTreebook的博客

04-04

1485

小端序，ctf，pwn

python 纵向输出字符串_Python(五）字符串

weixin_42337065的博客

03-01

3020

一、字符串类型1、普通字符串s1 = 'adf\nsd'print s1print type(s1)2、原始字符串：所有的字符串都是直接按照字面的意思来使用,没有转义特殊或不能打印的字符。原始字符串除在字符串的第一个引号前加入字母“r”(不区分大小写)以外,与普通字符串有着完全相同的语法。3、Unicode字符串:只需在定义字符串时前面加一个字符u二、换行和转义1、 \ 续航符，也就是多行语句符...

参与评论您还未登录，请先登录后发表或查看评论

python去除不可见字符，如：\u200b

田歌的博客

08-03

2084

对工作中遇到的不可见字符的去除，做一个记录 def remove_invisible_chars(s): """移除所有不可见字符，除\n外""" str = '' for x in s: if x is not '\n' and not x.isprintable(): str += '' else: str += x return str ...

亲测有效-报错._pickle.UnpicklingError: invalid load key, ‘\x00‘. 报错

最新发布

ISDF工软未来

03-25

478

这个错误是由于win32com模块的缓存文件损坏导致的。

python去除不可见字符

cxy1991xm的博客

07-14

3275

一、a=u'3082986\u202c' ，执行 print(a)输出3082986‬，不会输出‘\u202c’，若要输出不可见字符，则执行 print(repr(a)) 二、去除不可见字符 python 2 : a.strip(u'\u202c') python 3 : a.strip('\u202c')

Python如何打印隐形字符

weixin_38987932的博客

10-15

2117

data = “\r\n12345678\r\n” print(repr(data))

Python中的诡异事：不可见字符！

夏小悠的博客

08-12

955

今天分享一件很诡异的事情，我写代码的时候遇到了不可见的字符！！！

Python 如何删除字符串中的”\x00\x00″

wukongaixuexi的博客

12-21

2058

\x00\x00″是一种特殊的字符表示形式，在字符串中表示一个空字节。一个空字节是由两个十六进制的00组成的，一般在二进制数据中表示结束符或者空字符。

python题库圣诞节纳科技分别骄傲不回复可见ASB

06-07

根据提供的文件信息，我们可以整理出一系列与Python编程相关的知识点，主要涉及基础的数学运算、算法实现、控制结构等。下面将对这些知识点进行详细的解析。 ### 知识点一：计算一个整数的绝对值 - **代码示例**：...

在Python中使用base64模块处理字符编码的教程

09-22

解码时，这些"="符号和补足的\x00字节将被自动去除。 Python的base64模块提供了编解码功能。在Python 2.x版本中，可以使用base64模块内置的函数进行编码和解码操作。例如： ```python import base64 encoded = ...

python：curses --- 终端字符单元显示的处理

实战大师

03-08

1296

python：curses --- 终端字符单元显示的处理

python实现删除txt里面的特殊符号：如[]

02-21

本代码是用python实现的删除txt文件里面的[],可以批量处理多个txt文件，觉得好的小伙伴们，点个赞奥

python 分割字符串为元组_python字符串、列表、元组、字典、集合

weixin_42523907的博客

01-28

929

一、python数据类型介绍python基本数据类型：数字、字符串、布尔、列表、元组、字典，可通过type(变量名)来查看变量的类型可变和不可变数据类型：修改变量的值后，变量在内存中存放的位置是否发生变化，可通过id(变量名)查看变量指向内存中的位置1.按可变不可变分类可变：列表、字典不可变：数字、字符串、元组、布尔2.按访问顺序分类直接访问：数字、布尔顺序访问：字符串、列表、元组映射方式：字典，...

python 去除不可见字符

weixin_34297300的博客

07-05

1812

line.strip().strip(b'\x00'.decode()) _line.strip().strip(b'\x00'.decode()).strip(b'\xef\xbb\xbf'.decode()).split('，') line.decode('gb2312', 'ignore').encode('utf8') 转载于:https://www.cnblogs.co...

Python去除不可见字符，如\u200b

热门推荐

XerCis的博客

07-27

1万+

利用 str.isprintable() ，如果字符串中所有字符均为可打印字符或空字符串则返回True ，否则返回False

python “移除所有不可见字符“

weixin_44826979的博客

08-02

1724

a ='\u200b貔貅翡翠摆件如何摆放如何摆放才能不犯忌讳最大程度的起到作用' def remove_upprintable_chars(s): """移除所有不可见字符""" return ''.join(x for x in s if x.isprintable()) b = remove_upprintable_chars(a) print(a) ...

Python过滤不可见字符

迎风飘来的专栏

02-05

1万+

import re def confir(str): for i in range(0,32): str = str.replace(chr(i),'') return str

python删除字符串中重复字符_python如何去除字符串中不可见字符（\x00）

weixin_39566578的博客

11-25

596

问题：无法用json.loads()解析数据。现象：但是将收到的数据复制粘贴成字符串就可以接续出来。纠结了很久才发现，两个长度不一样。str是看不出来的，于是就转换成了bytes，发现收到的数据为：b’\r\n\r\n\x00\x00\x00\x00\x00\x00\x00\x00{\r\n\t"author": “app”\r\n}’而复制出来的字符串没有\x00原代码self.data = s...

解决python中出现的不可见字符问题，OSError: [Errno 22] Invalid argument: ‘\u202a**.csv‘

囧疼她的博客

11-26

5612

解决python中出现的不可见字符问题，OSError: [Errno 22] Invalid argument: '\u202a**.csv'问题描述不可见控制字符解决方法问题描述今天遇到一个坑，读取文件时，在用到open函数时，始终报OSError: [Errno 22] Invalid argument:的错误，意思说文件路径错误。 pandas读取csv文件时，pandas自带open()运行报错误OSError: [Errno 22] Invalid argument: '\u202a**.c

redis 存在隐藏字符 json 解析不了如何排查

03-08

<think>嗯，用户问的是关于Redis中存在隐藏字符导致JSON解析不了的问题，如何排查。我需要先理清楚这个问题的可能原因，然后一步步引导用户进行排查。首先，用户提到JSON解析失败，可能是在从Redis获取数据后，尝试解析时出错。隐藏字符可能包括不可见的控制字符、BOM头、或者编码问题导致的乱码等。常见的隐藏字符比如换行符、制表符，或者UTF-8中的BOM（\xEF\xBB\xBF），这些可能在JSON解析时不被接受，导致解析错误。接下来，我需要考虑用户可能的使用场景。比如，用户可能在存储数据时没有正确清理或处理输入，或者在数据传输过程中引入了额外字符。例如，从文件读取数据时可能携带了BOM头，或者用户输入中包含了不可见的控制字符。此外，不同系统之间的换行符差异（如Windows的CRLF和Linux的LF）也可能导致问题，不过JSON解析器通常处理这些没问题，但如果有其他隐藏字符就难说了。用户的需求不仅仅是解决问题的方法，可能还需要了解如何预防这类问题。因此，除了排查步骤，还应给出预防措施，比如输入验证、统一编码、使用二进制格式存储等。然后，我需要思考排查的具体步骤。首先，用户应该直接检查Redis中的原始数据，使用redis-cli的GET命令查看是否有异常字符。不过，直接查看可能不够，因为不可见字符在终端里可能不显示，所以需要用工具或命令来显示不可见字符，比如hexdump或者xxd。例如，在Linux下，用户可以将数据通过管道传递给od -c或hexdump -C，查看十六进制表示。另外，建议用户检查数据写入的源头，比如应用程序在存储到Redis之前是否处理了数据，是否有日志可以查看写入前的数据状态。可能需要添加日志记录原始数据的十六进制或Base64编码，以便发现隐藏字符。还有可能的问题来源是编码不一致，比如数据存储时使用了不同的编码（如UTF-8带BOM），而解析时没有正确处理。这时候需要确保所有环节使用统一的编码格式，比如UTF-8无BOM。同时，用户可能没有意识到某些框架或库会自动处理数据，比如在序列化/反序列化过程中添加了额外字符。例如，某些JSON库可能在字符串中添加转义字符，或者在存储时进行了不正确的编码转换。另外，Redis的存储类型是否正确？比如，如果用户使用了不同的数据类型（如Hash，List），而解析时预期的是String类型，也可能导致问题。不过这种情况可能报错不同，但需要确认。在给出具体步骤时，应该分点列出，从直接检查数据，到检查写入和读取的代码，再到编码和序列化处理，最后到工具的使用。这样用户可以根据步骤一步步排查。可能的预防措施包括输入验证，使用校验和，统一编码，以及在存储前进行清理。例如，使用正则表达式过滤控制字符，或者在写入前将数据转换为Base64，避免直接存储可能含有隐藏字符的文本。还要注意不同编程语言的处理方式可能不同，比如Java、Python等，在读取Redis数据后的处理是否有差异。例如，在Python中使用json.loads时，如果字符串中有BOM头，可能会出错，需要先解码并去掉BOM。最后，总结常见原因，比如BOM头、控制字符、编码问题、序列化错误等，帮助用户快速定位问题。</think>以下是排查Redis中因隐藏字符导致JSON解析失败的逐步指南： --- ### 一、现象定位 1. **明确错误类型** - 若报错为 `JSON parse error: Illegal unquoted character` 或 `Unexpected token`，通常表示存在非法字符。 - 若报错为 `Malformed UTF-8`，则可能是编码不一致或二进制干扰。 --- ### 二、直接检查Redis数据 1. **通过`redis-cli`查看原始数据** ```bash # 获取键值并显示不可见字符（十六进制格式） redis-cli --raw GET your_key | hexdump -C ``` - 检查输出中是否有异常字符，例如： - **BOM头**：`EF BB BF`（UTF-8 BOM） - **控制字符**：`00`（空字符）、`1B`（ESC键）、`0D 0A`（Windows换行符） 2. **使用`od`命令分析字符** ```bash redis-cli GET your_key | od -c ``` - 观察输出中的`\r`（回车）、`\n`（换行）或`\x..`（非ASCII字符）。 --- ### 三、检查数据写入源头 1. **代码层排查** - **写入前记录原始数据**：在写入Redis的代码位置添加日志，打印数据的十六进制或Base64编码： ```java // Java示例：输出十六进制 String data = "your_data"; StringBuilder hex = new StringBuilder(); for (byte b : data.getBytes(StandardCharsets.UTF_8)) { hex.append(String.format("%02X ", b)); } System.out.println("Data to write: " + hex); ``` - **检查序列化工具**：确认使用的JSON库（如Jackson、Gson）是否自动过滤控制字符。 2. **外部数据源验证** - 若数据来自文件或API，检查源头文件编码（如UTF-8 vs UTF-8-BOM）。 - 使用`file`命令（Linux）检查文件编码： ```bash file -i your_data.json ``` --- ### 四、修复与预防 1. **清理隐藏字符** - **正则过滤**：移除不可见控制字符（ASCII码 < 32的字符）： ```python # Python示例 import re cleaned_data = re.sub(r'[\x00-\x1F\x7F]', '', raw_data) ``` - **BOM头处理**：在读取数据时去掉BOM： ```java // Java示例 String data = redis.get("key"); if (data.startsWith("\uFEFF")) { data = data.substring(1); } ``` 2. **统一编码格式** - 强制所有环节使用**UTF-8无BOM**编码。 - 在Redis连接配置中明确指定编码： ```java // Lettuce客户端示例 RedisClient client = RedisClient.create("redis://localhost"); client.setOptions(ClientOptions.builder() .socketOptions(SocketOptions.builder().build()) .build()); ``` 3. **二进制存储替代方案** - 若数据含非文本内容（如图片），改用二进制序列化格式（如Protobuf），而非JSON。 --- ### 五、工具辅助排查 1. **JSONLint验证** - 将Redis数据复制到[JSONLint](https://jsonlint.com/)，定位具体报错位置。 2. **Redis监控工具** - 使用`redis-insight`或`Redisson`监控数据写入过程，捕获异常流量。 --- ### 六、常见场景与修复 | 问题类型 | 示例字符 | 修复方案 | |----------------|------------------|-----------------------------------| | BOM头 | `EF BB BF` | 读取时跳过前3字节 | | 非法换行符 | `0D 0A` | 替换为`\n`或删除 | | 二进制干扰 | `00`（空字符） | 使用Base64编码存储 | | 转义错误 | 未转义的`"` | 替换为`\"`或使用标准JSON序列化库 | --- ### 七、总结建议 - **写入阶段**：在数据入库前增加字符清理逻辑。 - **读取阶段**：捕获异常时记录原始数据十六进制日志。 - **终极方案**：使用`MessagePack`或`CBOR`等二进制JSON格式替代纯文本。