ERROR: invalid byte sequence for encoding "UTF8": 0xd5 0xc5

最新推荐文章于 2024-01-03 10:10:36 发布
原创 最新推荐文章于 2024-01-03 10:10:36 发布 · 1.6w 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#invalid #sequence #encoding #UTF8 #psql

本文介绍了解决在使用psql进行数据插入时遇到的UTF-8编码错误的具体步骤。通过调整XShell连接属性中的编码设置为UTF-8，可以有效避免因编码不匹配导致的数据插入失败。

在使用 psql 执行数据插入操作的时候，提示：ERROR:  invalid byte sequence for encoding "UTF8": 0xd5 0xc5

错误原因是使用客户端工具 XShell 连接 Ubuntu 系统时，没有指定编码为：UTF-8

解决方法：

打开连接属性，左侧类别中选择终端，右侧编码选择：Unicode(UTF-8)


设置完成，点击确定保存后，再执行语句就可以了。


相关阅读：

PostgreSQL 新手入门


【Postgresql】ERROR: invalid byte sequence for encoding “UTF8“: 0x00
Shaul_Wong的博客
02-11 1万+
ERROR: invalid byte sequence for encoding “UTF8”: 0x00 可能是Oracle的表字段中存在chr(0) 字符 1.问题描述 最近在做Oracle到Postgresql表数据的同步，采用的是ETL表输入表输出组件，其中几张表同步时总是报如下错误： ERROR Batch entry 0 INSERT INTO table_name (column_name) VALUES ( values) was aborted: ERROR: invalid byte
invalid byte sequence for encoding ‘UTF8‘: 0x00
最新发布
weixin_50943581的博客
07-07 534
数据迁移时，Oracle允许0x00字符格式而PostgreSQL不兼容，导致迁移失败。解决方案是删除或更新源端包含0x00的数据，少量数据建议删除。查询0x00字符需转义，不同数据库转义方式如下：MySQL/MariaDB使用concat，PostgreSQL/SQLite/Oracle使用chr/char函数，SQL Server使用+连接。
ERROR: invalid byte sequence for encoding "UTF8": 0xd5 0xc5
weixin_34228387的博客
10-02 1901
在使用 psql 执行数据插入操作的时候，提示：ERROR: invalid byte sequence for encoding "UTF8": 0xd5 0xc5 错误原因是使用客户端工具 XShell 连接 Ubuntu 系统时，没有指定编码为：UTF-8 解决方法： 打开连接属性，左侧类别中选择终端，右侧编码选择：Unicode(UTF-8) ...
ERROR: invalid byte sequence for encoding "UTF8": 0x00
weixin_34186128的博客
10-26 3662
1、使用kettle批量导入数据的时候，数据出现了下面的错误。ERROR: invalid byte sequence for encoding "UTF8": 0x00 关键点：“0x00”意思是：十进制数字0。 所以，解决方法就是将这个出现这个内容的字段进行修改即可，然后就可以继续使用kettle批量导入数据了。 还有一个问题就是，如果自己的字段很多的话，需要自己判断一下，是哪一个字段出...
PostgreSQL [ERROR: invalid byte sequence for encoding "UTF8": 0xc0ee](
没有人能够随随便便成功
12-09 4992
原因是没有正确设置客户端字符集。 默认情况下，PostgreSQL是不转换字符集的，如果你的数据库是UTF8的字符集，一般终端的中文字符集会设置为GBK，或en_US（查看终端的字符集可以看LANG环境变量的设置），所以你输入的中文是GBK的编码，这个编码不经转换的存入数据库中，而数据库是UTF8的，PostgreSQL一看没有这样的UTF8编码，所以当然报错了。 【解决方法】： 方法一...
ERROR: invalid byte sequence for encoding "UTF8": 0xe5 0xb7 CONTEXT: COPY news_article, line 32973
qq_40907977的博客
10-31 2080
postgres@localhost:~$ psql -U wsgjjkzg -d t_gj_tzy < /data/data1/t_gj_tzy.2035826.sql ERROR: invalid byte sequence for encoding "UTF8": 0xe5 0xb7 CONTEXT: COPY news_article, line 329736 注意 ： 1、“...
invalid byte sequence for encoding utf8 0xcb 0xef
sqlora的专栏
05-18 5130
invalid byte sequence for encoding utf8 0xcb 0xef invalid byte sequence for encoding "UTF8": 0xe99d2c_beiigang_126_com的博客-优快云博客 系统上设置： export PGCLIENTENCODING=GBK 或者db中设置 set client_encoding to 'GBK'; -- 或者 \encoding GBK ERROR:in
invalid byte sequence for encoding "UTF8": 0xe99d2c
热门推荐
深入理解PostgreSQL
09-26 3万+
Query failed: ERROR:  invalid byte sequence for encoding "UTF8": 0xe99d2c 原因是客户端字符集和插入内容的字符集不匹配。PostgreSQL默认不做字符集转换，如果数据库是UTF8的字符集，一般终端的中文字符集会设置为GBK（可以看LANG环境变量确认），所以这个编码不经转换的存入数据库中，而数据库是UTF8的，Po
PgSQL：解决 ERROR: invalid byte sequence for encoding “UTF8“: 0x00 报错问题
qq_51047851的博客
08-31 5532
csv 文件，以及替换字符的过程都可能需要挺长时间（看 .csv 文件的大小），不要乱点界面不然会卡死被强制退出。由于压缩包的 .csv 文件是加密的，需要先解密，然后就可以打开报错相应的 .csv 文件，这时就直接打开的是 notepad++,最后点全部替换即可，记得 ctrl + s 保存，然后压缩包会提示你保存更改，点确认即可。，下面的替换为给它删到空，因为就是要把 NUL 字符替换为空，然后注意查找模式要选择。在 notepad++ 中，点搜索栏的查找，在弹出窗口选替换，输入框输入。
ERROR: invalid byte sequence for encoding “UTF8“: 0x00与java中\u0000处理
qq_30024063的博客
07-19 3066
在数据库中，\0x00是null的转义，在java中null的转义是\u0000，因此在java层面去除\u0000即可。
postgresql数据库“invalid byte sequence for encoding “UTF8“: 0x00”事件的经验教训
*** 棋了个怪_Rachel ***
07-27 8743
虽然已知道用replaceAll('\u0000','')可解决问题，但由于要插入多张表、每个表含多个varchar字段、插入操作由JPA实现、插入操作要批量进行等因素，程序日志内容太笼统，为判断是哪个（或哪些）表、字段造成的、以及是代码原因还是数据原因提供的帮助很少，因而过程中麻烦多多困难重重，现在将其中的经验与教训总结出来，希望对同行们有所帮助。因为浏览器、某些图形化工具在处理含有'\0'的字符串时会自动截断'\0'后面的内容，依旧无法确定是表里的哪个字段。至此，这次折磨人多日的事件终于得到解决。...
org.postgresql.util.PSQLException: ERROR: invalid byte sequence for encoding “UTF8“: 0x00
weixin_43084715的博客
11-18 5944
ascii为0插入到oracle中，并不是null，它占用一个字节，要查询出来只能用=chr(0)尽量别插入ascii为0的字符到数据库中，可以用插入空字符串或者null代替，否则检索起来不方便碰到实在是不知道这个字段到底存的是什么的时候，可以使用dump函数去查看它具体的ascii码。可以看到第4行的第2列跟第3行的第2列的空格一样，都是占了一个字节，而且他的ASCII码为0，那么我们可以通过下面的方式将第4行查出来。那么这个第4行第2列到底存的是什么呢，我们可以通过dump函数去查看。
Kettle采集数据时遇到error:invalid byte sequence for encoding "UTF8": 0x00
guotufu的博客
07-31 5156
我们项目有个需求是需要通过 Kettle把数据从 oracle采集到postgresql，然后在采集过程中发现出现了invalid byte sequence for encoding "UTF8": 0x00导致采集失败，经查阅相关资料，pg官网上解释是因为pg数据库不能存储\u0000这样的字符，明白了根本原因，解决方案就容易多了，首先是确定哪此字段会包含这种字符，为了快速定位问题，我把ket...
kettle：ERROR: invalid byte sequence for encoding “UTF8”: 0x00
athga的博客
01-14 1762
使用kettle导数从oracle到PostgreSQL导数过程中，遇到如下报错，ERROR: invalid byte sequence for encoding “UTF8”: 0x00 PostgreSQL内部采用C语言风格的字符串（以0x00）表示结尾，因而不允许字符串中包括0x00 解决 在导数前对元数据进行处理 replace(xx,chr(0),’’) https://blog.youkuaiyun.com/chulang3290/article/details/100759073 ...
ERROR: invalid byte sequence for encoding "UTF8": 0x92
漫游学海之旅
03-02 4072
postgresqlERROR: invalid byte sequence for encoding “UTF8”: 0x92copy table_name from 'd:\filename.csv' with csv header该错误表示 文件非 UTF8 编码
数据迁移报“invalid byte sequence for encoding “UTF8“: 0x00 “
m0_62472715的博客
01-03 1488
问题分析：0x00 是ascii 的0值，表示null ，通过设置添加参数ignore_char_null_check=on ， 避免空值检查。适用版本：V8R3 , V8R6。
postgresql导入，invalid byte sequence for encoding “UTF8“:0x96
wj2017的博客
08-25 633
近期按业务要求做个迁移某些基础表的小工具（例如人员、角色、菜单、流程等表），业务要求弄个java GUI可视化界面（连接要可配置、迁移表要可配置），支持源库（mysql、oracle、高斯）迁移到目标高斯库，网上有很多现成的工具是可以做到的，但既然业务说要弄那就弄个呗。
使用copy from导入postgresql时报ERROR: invalid byte sequence for encoding "UTF8": 0x00错误
cliviabao的博客
06-21 1万+
问题描述使用copy from导入postgresql时，报ERROR:  invalid byte sequence for encoding "UTF8": 0x00错误尝试解决数据文件是我从oracle导入的，文件编码为utf-8。这个报错还会提示行数，由于我的文件特别大，vim打不开文件，于是我用sed命令把报错行数提出来，再用vim打开，发现并没有什么异常。我用split命令按行数切割后...
ERROR: invalid byte sequence for encoding "UTF8": 0xed 0xaf 0x86
04-29
<think>嗯，用户遇到了UTF-8编码的无效字节序列错误，具体是0xED 0xAF 0x86。我需要先弄清楚这个错误的原因。UTF-8的编码规则是什么？每个字符的字节序列应该符合一定的格式。比如，三字节的字符第一个字节是0xE0到0xEF，后面两个字节应该是0x80到0xBF。用户提供的字节0xED 0xAF 0x86，检查一下是否符合。0xED属于三字节的范围，后面两个字节是0xAF和0x86。0xAF的二进制是10101111，前两位是10，符合后续字节的要求吗？是的，但第三个字节0x86是10000110，前两位也是10，所以看起来没问题？不过可能需要进一步确认。 等等，可能用户的数据中有无效的Unicode字符。比如，某些编码如CESU-8或者代理对的问题。比如，UTF-8中代理对的编码范围是U+D800到U+DFFF，这些通常用于UTF-16的代理对，不应该直接出现在UTF-8中。而0xED 0xAF 0x86对应的Unicode码点是什么？计算一下：ED AF 86在二进制是1110 1101 1010 1111 1000 0110，去掉头部的控制位，得到11011011 1110000110，即0xDBE06？这可能超过了有效范围。或者可能用户在处理数据时，把UTF-16的代理对错误地编码为UTF-8，导致无效序列。 解决方案方面，可能需要先验证数据来源，确保所有输入都正确转换为UTF-8。或者使用工具检测和清理无效字节。比如在PostgreSQL中可以使用convert_from函数，或者用编程语言如Python的decode方法，用errors参数处理无效字节。另外，检查应用程序中的编码设置是否正确，避免不同环节的编码不一致。 用户可能是在数据库导入时遇到这个问题，比如使用COPY命令或者pg_restore时出现错误。这时候需要确保源文件是UTF-8编码，或者在导入时指定正确的编码。如果无效字节无法避免，可以暂时将客户端编码改为LATIN1，但这可能只是临时解决办法。 还有可能需要替换或删除无效字节，比如在Python中使用replace错误处理方式，或者用正则表达式过滤非UTF-8字符。另外，确认数据来源是否包含其他编码的字符，比如Windows-1252中的某些字符被错误标记为UTF-8。 总结下来，解决步骤可能包括：验证数据编码、清理无效字节、调整数据库或应用程序的编码设置，以及处理数据时使用适当的错误处理机制。</think># UTF-8无效字节序列错误解决方案 ## 错误分析 当出现`invalid byte sequence for encoding UTF8: 0xed 0xaf 0x86`错误时，表示数据流中存在不符合UTF-8编码规范的字节序列。特别是`0xED 0xAF 0x86`属于UTF-8代理对编码范围（Surrogate Pairs），但UTF-8标准中不允许单独存在的代理对字符[^1]。 ## 技术原理 UTF-8编码规范要求： 1. 单字节字符：$0x00-0x7F$ 2. 双字节字符：$0xC2-0xDF$开头，第二个字节$0x80-0xBF$ 3. 三字节字符：$0xE0-0xEF$开头，后续两个字节$0x80-0xBF$ 4. 四字节字符：$0xF0-0xF4$开头，后续三个字节$0x80-0xBF$ 代理对范围$U+D800-U+DFFF$本应用于UTF-16编码，直接出现在UTF-8中属于非法序列。 ## 解决方案 ### 方法一：数据清洗（推荐） ```python def clean_utf8(input_str): return input_str.encode('utf-8', 'replace') \ .decode('utf-8', 'ignore') \ .replace(u'\ufffd', '[INVALID]') ``` ### 方法二：数据库层面处理 ```sql -- 使用编码转换函数 SELECT encode(convert_from(data, 'UTF8'), 'escape') FROM table; -- 修改客户端编码临时方案 SET client_encoding = 'LATIN1'; ``` ### 方法三：文件预处理 使用`iconv`工具转换编码： ```bash iconv -f UTF-8 -t UTF-8//IGNORE -o clean_file.txt origin_file.txt ``` ## 常见应用场景 1. 数据库导入CSV时出现非法字符 2. 跨平台数据传输编码不一致 3. 老旧系统数据迁移时残留的非标字符 ## 验证工具 使用`xxd`查看字节序列： ```bash echo -n "问题字符串" | xxd -g 1 ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值