org.postgresql.util.PSQLException: ERROR: invalid byte sequence for encoding “UTF8“: 0x00

已于 2022-11-18 09:40:25 修改
阅读量5.8k 收藏 4
点赞数 1
分类专栏： postgresql 文章标签： 数据库 java 服务器
于 2022-11-18 09:40:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43084715/article/details/127909990
版权

在特殊字符（不可见字符，如ASCII 0、控制字符、非法字符等）上，Oracle非常宽松，基本上可以写入任何数据，包括不符合编码规则的数据。而PostgreSQL则不然，必须符合该字符集的编码，比如在UTF8字符集下，输入的字符编码比如符合UTF8编码。

从报错中提取到十六进制\u0000

byteSize:1,"index":47,"rawData":"\u0000","type":"STRING"

 ERROR StdoutPluginCollector - 脏数据:
{"exception":"ERROR: invalid byte sequence for encoding \"UTF8\": 0x00","record":[{"byteSize":1,"index":0,"rawData":"Z","type":"STRING"},{"byteSize":3,"index":1,"rawData":"SPD","type":"STRING"},{"byteSize":15,"index":2,"rawData":"SPD TA210_TA302","type":"STRING"},{"byteSize":16,"index":3,"rawData":"跨期套利-TA210/TA302","type":"STRING"},{"byteSize":4,"index":4,"rawData":"LIST","type":"STRING"},{"byteSize":0,"index":5,"type":"STRING"},{"byteSize":0,"index":6,"type":"STRING"},{"byteSize":1,"index":7,"rawData":"5","type":"DOUBLE"},{"byteSize":0,"index":8,"type":"STRING"},{"byteSize":1,"index":9,"rawData":"0","type":"DOUBLE"},{"byteSize":1,"index":10,"rawData":"0","type":"DOUBLE"},{"byteSize":2,"index":11,"rawData":"-1","type":"DOUBLE"},{"byteSize":1,"index":12,"rawData":"0","type":"DOUBLE"},{"byteSize":14,"index":13,"rawData":"20221021000000","type":"DOUBLE"},{"byteSize":14,"index":14,"rawData":"20221021000000","type":"DOUBLE"},{"byteSize":1,"index":15,"rawData":"0","type":"DOUBLE"},{"byteSize":14,"index":16,"rawData":"20221021000000","type":"DOUBLE"},{"byteSize":3,"index":17,"rawData":"TRD","type":"STRING"},{"byteSize":1,"index":18,"rawData":"2","type":"DOUBLE"},{"byteSize":4,"index":19,"rawData":"1000","type":"DOUBLE"},{"byteSize":1,"index":20,"rawData":"1","type":"DOUBLE"},{"byteSize":3,"index":21,"rawData":"200","type":"DOUBLE"},{"byteSize":1,"index":22,"rawData":"1","type":"DOUBLE"},{"byteSize":4,"index":23,"rawData":"1034","type":"DOUBLE"},{"byteSize":4,"index":24,"rawData":"-586","type":"DOUBLE"},{"byteSize":1,"index":25,"rawData":"0","type":"DOUBLE"},{"byteSize":1,"index":26,"rawData":"0","type":"DOUBLE"},{"byteSize":1,"index":27,"rawData":"0","type":"DOUBLE"},{"byteSize":1,"index":28,"rawData":"0","type":"DOUBLE"},{"byteSize":1,"index":29,"rawData":"0","type":"DOUBLE"},{"byteSize":1,"index":30,"rawData":"0","type":"DOUBLE"},{"byteSize":1,"index":31,"rawData":"0","type":"DOUBLE"},{"byteSize":1,"index":32,"rawData":"0","type":"DOUBLE"},{"byteSize":1,"index":33,"rawData":"0","type":"DOUBLE"},{"byteSize":1,"index":34,"rawData":"0","type":"DOUBLE"},{"byteSize":1,"index":35,"rawData":"0","type":"DOUBLE"},{"byteSize":1,"index":36,"rawData":"0","type":"DOUBLE"},{"byteSize":1,"index":37,"rawData":"0","type":"DOUBLE"},{"byteSize":1,"index":38,"rawData":"0","type":"DOUBLE"},{"byteSize":1,"index":39,"rawData":"0","type":"DOUBLE"},{"byteSize":1,"index":40,"rawData":"0","type":"DOUBLE"},{"byteSize":0,"index":41,"type":"STRING"},{"byteSize":0,"index":42,"type":"STRING"},{"byteSize":1,"index":43,"rawData":"0","type":"DOUBLE"},{"byteSize":1,"index":44,"rawData":"1","type":"DOUBLE"},{"byteSize":1,"index":45,"rawData":"5","type":"STRING"},{"byteSize":1,"index":46,"rawData":"0","type":"DOUBLE"},{"byteSize":1,"index":47,"rawData":"\u0000","type":"STRING"},{"byteSize":0,"index":48,"type":"STRING"},{"byteSize":1,"index":49,"rawData":"0","type":"DOUBLE"},{"byteSize":0,"index":50,"type":"STRING"},{"byteSize":1,"index":51,"rawData":"0","type":"DOUBLE"},{"byteSize":1,"index":52,"rawData":"0","type":"DOUBLE"},{"byteSize":1,"index":53,"rawData":"0","type":"DOUBLE"},{"byteSize":1,"index":54,"rawData":"0","type":"DOUBLE"},{"byteSize":0,"index":55,"type":"STRING"},{"byteSize":0,"index":56,"type":"STRING"},{"byteSize":2,"index":57,"rawData":"-1","type":"STRING"},{"byteSize":1,"index":58,"rawData":"N","type":"STRING"},{"byteSize":1,"index":59,"rawData":"0","type":"DOUBLE"},{"byteSize":1,"index":60,"rawData":"1","type":"DOUBLE"},{"byteSize":1,"index":61,"rawData":"1","type":"DOUBLE"},{"byteSize":1,"index":62,"rawData":"0","type":"DOUBLE"},{"byteSize":1,"index":63,"rawData":"N","type":"STRING"},{"byteSize":1,"index":64,"rawData":"0","type":"DOUBLE"},{"byteSize":1,"index":65,"rawData":"0","type":"STRING"},{"byteSize":14,"index":66,"rawData":"20220621220012","type":"DOUBLE"},{"byteSize":1,"index":67,"rawData":"Y","type":"STRING"},{"byteSize":1,"index":68,"rawData":"0","type":"STRING"},{"byteSize":4,"index":69,"rawData":"1000","type":"DOUBLE"},{"byteSize":1,"index":70,"rawData":"1","type":"DOUBLE"},{"byteSize":1,"index":71,"rawData":"N","type":"STRING"},{"byteSize":0,"index":72,"type":"STRING"},{"byteSize":1,"index":73,"rawData":"0","type":"STRING"},{"byteSize":0,"index":74,"type":"STRING"}],"type":"writer"}
2022-11-17 19:06:28.200 [taskGroup-0] INFO  TaskGroupContainer - taskGroup[0] taskId[0] is successed, used[101]ms

创建一张测试表

create table test(id int, name varchar2(10), comm varchar2(30));

向这张测试表中插入以下数据

insert into test values(1, null, ‘null’); --直接插入null

insert into test values(2, ‘’, ‘empty string’); --插入空字符

insert into test values(3, ’ ', ‘blank space’); --插入空格

insert into test values(4, chr(0), ‘ascii0’); --插入ascii为0的字符

查测试表，可以看到第2列似乎都是空的

查看第2列不为空值的行

加trim函数再查

那么这个第4行第2列到底存的是什么呢，我们可以通过dump函数去查看

可以看到第4行的第2列跟第3行的第2列的空格一样，都是占了一个字节，而且他的ASCII码为0，那么我们可以通过下面的方式将第4行查出来

我们将这张表通过plsqldeveloper工具导出来，看是个什么情况

可以看到通过工具导出来的时候，第4行的第2列会直接转换成null

三、总结

ascii为0插入到oracle中，并不是null，它占用一个字节，要查询出来只能用=chr(0)尽量别插入ascii为0的字符到数据库中，可以用插入空字符串或者null代替，否则检索起来不方便碰到实在是不知道这个字段到底存的是什么的时候，可以使用dump函数去查看它具体的ascii码

PostgreSQL
字符集为UTF8，创建数据表，插入特殊字符（0x00），无法插入

 
 
  1. [local:/data/run/pg12]:5120 pg12@testdb=# \encoding
  2. UTF8
  4. [local:/data/run/pg12]:5120 pg12@testdb=# drop table t_0x00;
  5. insert into t_0x00 values(4,'c1'||E'\x00'||'c1',null);
  6. insert into t_0x00 values(5,'c1'||E'\x00'||'c1','\x550055'::bytea);DROP TABLE
  7. [local:/data/run/pg12]:5120 pg12@testdb=# create table t_0x00(id int,c1 varchar(200),c2 bytea);
  8. CREATE TABLE
  9. [local:/data/run/pg12]:5120 pg12@testdb=# 
  10. [local:/data/run/pg12]:5120 pg12@testdb=# insert into t_0x00 values(1,E'\x00',null);
  11. ERROR: invalid byte sequence for encoding "UTF8": 0x00
  12. [local:/data/run/pg12]:5120 pg12@testdb=# insert into t_0x00 values(1,chr(0),null);
  13. ERROR: null character not permitted
  14. [local:/data/run/pg12]:5120 pg12@testdb=# insert into t_0x00 values(2,null,bytea '\x00');
  15. INSERT 0 1
  16. [local:/data/run/pg12]:5120 pg12@testdb=# insert into t_0x00 values(3,E'\x00'||'c1',null);
  17. ERROR: invalid byte sequence for encoding "UTF8": 0x00
  18. [local:/data/run/pg12]:5120 pg12@testdb=# insert into t_0x00 values(4,'c1'||E'\x00'||'c1',null);
  19. ERROR: invalid byte sequence for encoding "UTF8": 0x00
  20. [local:/data/run/pg12]:5120 pg12@testdb=# insert into t_0x00 values(5,'c1'||E'\x00'||'c1','\x550055'::bytea);
  21. ERROR: invalid byte sequence for encoding "UTF8": 0x00
  22. [local:/data/run/pg12]:5120 pg12@testdb=# select * from t_0x00 where c1 like '%'||chr(0)||'%';
  23. ERROR: null character not permitted
  24. [local:/data/run/pg12]:5120 pg12@testdb=#
 

 

 


                

        

    

  



    



                



	

		

			

				
					
【0031】PostgreSQL报错提示：ERROR: invalid byte sequence for encoding UTF8: 0xaa

				
			

			

				

					Postgres 数据库内核开发工程师
				

				

					05-19
					
					5483
					
				

			

		

		

			
				
     平台对接项目中, 平台方下发的报文是latin1编码格式，导致事务模式下的数据入库失败. 报错提示如下: 
     ERROR:  invalid byte sequence for encoding “UTF8”: 0xaa
     Linux上vim打开日志文件, 使用: set fileencoding 来查看当前文件的编码格式, 可看到并不是utf-8编码的。而PostgreSQL数据库是采用的utf-8编码, 因编码格式不统一而导致的错误问题(PostgreSQL数据库默认不作编码格

			
		

	



                

            
              



	

		

			

				
					
【Postgresql】ERROR: invalid byte sequence for encoding “UTF8“: 0x00

					
热门推荐

				
			

			

				

					Shaul_Wong的博客
				

				

					02-11
					
					1万+
					
				

			

		

		

			
				
ERROR: invalid byte sequence for encoding “UTF8”: 0x00 可能是Oracle的表字段中存在chr(0) 字符
1.问题描述
最近在做Oracle到Postgresql表数据的同步，采用的是ETL表输入表输出组件，其中几张表同步时总是报如下错误：
ERROR Batch entry 0 INSERT INTO table_name (column_name) VALUES ( values) was aborted: ERROR: invalid byte 

			
		

	



              


  
              

                


	

		

			

				
					
ERROR: invalid byte sequence for encoding "UTF8": 0x00

				
			

			

				

					weixin_34186128的博客
				

				

					10-26
					
					3606
					
				

			

		

		

			
				
1、使用kettle批量导入数据的时候，数据出现了下面的错误。ERROR: invalid byte sequence for encoding "UTF8": 0x00
关键点：“0x00”意思是：十进制数字0。
所以，解决方法就是将这个出现这个内容的字段进行修改即可，然后就可以继续使用kettle批量导入数据了。
还有一个问题就是，如果自己的字段很多的话，需要自己判断一下，是哪一个字段出...

			
		

	





	

		

			

				
					
【PGSQL】MS数据通过DataX写入PG报错：/u0000脏数据

					
最新发布

				
			

			

				

					xiajingxuan1的博客
				

				

					03-05
					
					284
					
				

			

		

		

			
				
业务数据写入MS，使用DolphinScheduelr的DataX组件写入PG进行数据分析。其他需要collate转换的也要调整成为Chinese_PRC_BIN，否则会报错。执行报错，发现脏数据，查看日志，脏数据为备注字段中的“\u0000”。

			
		

	



		

			
		



	

		

			

				
					
PgSQL：解决 ERROR: invalid byte sequence for encoding “UTF8“: 0x00 报错问题

				
			

			

				

					qq_51047851的博客
				

				

					08-31
					
					5137
					
				

			

		

		

			
				
csv 文件，以及替换字符的过程都可能需要挺长时间（看 .csv 文件的大小），不要乱点界面不然会卡死被强制退出。由于压缩包的 .csv 文件是加密的，需要先解密，然后就可以打开报错相应的 .csv 文件，这时就直接打开的是 notepad++,最后点全部替换即可，记得 ctrl + s 保存，然后压缩包会提示你保存更改，点确认即可。，下面的替换为给它删到空，因为就是要把 NUL 字符替换为空，然后注意查找模式要选择。在 notepad++ 中，点搜索栏的查找，在弹出窗口选替换，输入框输入。

			
		

	





	

		

			

				
					
postgresql数据库“invalid byte sequence for encoding “UTF8“: 0x00”事件的经验教训

				
			

			

				

					*** 棋了个怪_Rachel  ***
				

				

					07-27
					
					8392
					
				

			

		

		

			
				
虽然已知道用replaceAll('\u0000','')可解决问题，但由于要插入多张表、每个表含多个varchar字段、插入操作由JPA实现、插入操作要批量进行等因素，程序日志内容太笼统，为判断是哪个（或哪些）表、字段造成的、以及是代码原因还是数据原因提供的帮助很少，因而过程中麻烦多多困难重重，现在将其中的经验与教训总结出来，希望对同行们有所帮助。因为浏览器、某些图形化工具在处理含有'\0'的字符串时会自动截断'\0'后面的内容，依旧无法确定是表里的哪个字段。至此，这次折磨人多日的事件终于得到解决。...

			
		

	





	

		

			

				
					
PostgreSQL [ERROR:  invalid byte sequence for encoding "UTF8": 0xc0ee](

				
			

			

				

					没有人能够随随便便成功
				

				

					12-09
					
					4933
					
				

			

		

		

			
				
原因是没有正确设置客户端字符集。
默认情况下，PostgreSQL是不转换字符集的，如果你的数据库是UTF8的字符集，一般终端的中文字符集会设置为GBK，或en_US（查看终端的字符集可以看LANG环境变量的设置），所以你输入的中文是GBK的编码，这个编码不经转换的存入数据库中，而数据库是UTF8的，PostgreSQL一看没有这样的UTF8编码，所以当然报错了。

【解决方法】：
方法一...

			
		

	





	

		

			

				
					
ERROR: invalid byte sequence for encoding “UTF8”: 0x00

				
			

			

				

					yuemingxingxing的博客
				

				

					06-09
					
					3388
					
				

			

		

		

			
				
ERROR: invalid byte sequence for encoding “UTF8”: 0x00

			
		

	





	

		

			

				
					
[转] SqlServe到PG迁移错误:无效的编码序列"UTF8": 0x00

				
			

			

				

					weixin_33754065的博客
				

				

					02-02
					
					1642
					
				

			

		

		

			
				
标签
PostgreSQL , Greenplum , 0x00 , 空字符 , NUL , 数据清洗 , 规则 , 过滤 , 非法字符


背景

原文
http://www.codeweblog.com/sqlserve%E5%88%B0pg%E8%BF%81%E7%A7%BB%E9%94%99%E8%AF%AF-%E6%97%A0%E6%95%88...

			
		

	





	

		

			

				
					
Postgresql编码唯一键，IDEA控制台缓存，图片Base64转码

				
			

			

				

					IT技术分享
				

				

					05-16
					
					2410
					
				

			

		

		

			
				
开心一笑【真的很羡慕那些五一放假可以出去玩的朋友像我们这种一年四季随时可以出去玩的人，是根本没法体会那种激动的心情】提出问题Intellij IDEA 控制台缓存区大小如何修改？？？ 
PostgreSql的唯一性索引引发的问题？？？ 
Base64图片编码转换问题？？？ 
postgresql数据库编码问题？？？解决问题前言这2天工作中，碰到了4个问题，耗了好多时间，整理分享下。Intellij

			
		

	





	

		

			

				
					
ERROR: invalid byte sequence for encoding “UTF8“: 0x00与java中\u0000处理

				
			

			

				

					qq_30024063的博客
				

				

					07-19
					
					2950
					
				

			

		

		

			
				
在数据库中，\0x00是null的转义，在java中null的转义是\u0000，因此在java层面去除\u0000即可。

			
		

	





	

		

			

				
					
人大金仓迁移报错ERROR: invalid byte sequence for encoding “UTF8“: 0x00

				
			

			

				

					Denial_learn的博客
				

				

					11-02
					
					2824
					
				

			

		

		

			
				
com.kingbase8.utilKSOLException: ERROR: invalid byte sequence for encoding "UTF8": 0x00

			
		

	





	

		

			

				
					
ERROR:  invalid byte sequence for encoding "UTF8": 0xd5 0xc5

				
			

			

				

					weixin_34228387的博客
				

				

					10-02
					
					1830
					
				

			

		

		

			
				
在使用 psql 执行数据插入操作的时候，提示：ERROR: invalid byte sequence for encoding "UTF8": 0xd5 0xc5
错误原因是使用客户端工具 XShell 连接 Ubuntu 系统时，没有指定编码为：UTF-8
解决方法：
打开连接属性，左侧类别中选择终端，右侧编码选择：Unicode(UTF-8)
...

			
		

	





	

		

			

				
					
一次倍受折磨的“invalid byte sequence for encoding "UTF8": 0x00”事件的经验教训

				
			

			

				

					weixin_30492601的博客
				

				

					01-04
					
					3899
					
				

			

		

		

			
				
一、概述
invalid byte sequence for encoding "UTF8": 0x00（注意：若不是0x00则很可能是字符集设置有误），是PostgreSQL独有的错误信息，直接原因是varchar型的字段或变量不接受含有'\0'（也即数值0x00、UTF编码'\u0000'）的字符串 。官方给出的解决方法：事先去掉字符串中的'\0'，例如在Java代码中使用str.repla...

			
		

	





	

		

			

				
					
数据迁移报“invalid byte sequence for encoding “UTF8“: 0x00 “

				
			

			

				

					m0_62472715的博客
				

				

					01-03
					
					1432
					
				

			

		

		

			
				
问题分析：0x00 是ascii 的0值，表示null ，通过设置添加参数ignore_char_null_check=on ， 避免空值检查。适用版本：V8R3 , V8R6。

			
		

	





	

		

			

				
					
invalid byte sequence for encoding "UTF8":0x00

				
			

			

				

					weixin_43472847的博客
				

				

					05-13
					
					1833
					
				

			

		

		

			
				
现场环境抽取oracle往mpp里写数据时，报如标题的错误。
原因：
可能是c++应用把字符串的结尾字符\0也一起写到数据库了，导致同步时这个字符写不进去，这个是pg的bug。
解决方案：
截断\0字符前的字符串，后面的丢弃，只能这么办了。
			String value = "";//获取值
			if(null != value && value.indexOf('\0') >= 0) {
				value = value.substring(0,value.indexOf('\

			
		

	





	

		

			

				
					
Kettle采集数据时遇到error:invalid byte sequence for encoding "UTF8": 0x00

				
			

			

				

					guotufu的博客
				

				

					07-31
					
					5124
					
				

			

		

		

			
				
我们项目有个需求是需要通过 Kettle把数据从 oracle采集到postgresql，然后在采集过程中发现出现了invalid byte sequence for encoding "UTF8": 0x00导致采集失败，经查阅相关资料，pg官网上解释是因为pg数据库不能存储\u0000这样的字符，明白了根本原因，解决方案就容易多了，首先是确定哪此字段会包含这种字符，为了快速定位问题，我把ket...

			
		

	





	

		

			

				
					
Postgresql中invalid byte sequence for encoding \"UTF8\": 0x00".

				
			

			

				

					LeoHan
				

				

					03-13
					
					8790
					
				

			

		

		

			
				
由于目前Postgresql中官方解释Postgresql对于0x00和\u0000无法支持，必须进行替换。
在java中尝试程序将SQLServer程序导入到Postgreslq中时，发生上述问题，解决办法是：
 public String transfer0x00(String str){
        if(str !=null && str.indexOf(0x00) &...

			
		

	





	

		

			

				
					
kettle：ERROR: invalid byte sequence for encoding “UTF8”: 0x00

				
			

			

				

					chulang3290的博客
				

				

					09-27
					
					3322
					
				

			

		

		

			
				
使用kettle导数从oracle到PostgreSQL导数过程中，遇到如下报错，ERROR: invalid byte sequence for encoding “UTF8”: 0x00
PostgreSQL内部采用C语言风格的字符串（以0x00）表示结尾，因而不允许字符串中包括0x00
...

			
		

	





	

		

			

				
					
org.postgresql.util.PSQLException:ERROR:deadlock detectec

				
			

			

				

					07-22
				

			

		

		

			
				
`org.postgresql.util.PSQLException: ERROR: deadlock detected` 错误表示在您的PostgreSQL数据库中发生了死锁情况。死锁是指两个或多个事务互相等待对方释放资源而无法继续执行的情况。

解决死锁问题的常见方法包括：

1. 分析死锁日志：在PostgreSQL中，您可以查看日志文件以获取有关死锁的详细信息。查找死锁日志和相关事务的详细信息可能有助于确定问题的原因和解决方案。

2. 优化事务并发性：通过减少事务之间的竞争来降低出现死锁的可能性。这可以通过设计更合理的事务逻辑、调整事务隔离级别、降低事务持续时间等方式来实现。

3. 调整数据库配置参数：某些数据库配置参数可以影响死锁发生的频率。例如，您可以尝试增加`max_locks_per_transaction`参数的值，以便每个事务可以持有更多的锁。请注意，调整配置参数可能需要谨慎操作，并且需要根据具体情况进行测试和评估。

4. 重新设计应用程序逻辑：有时，死锁问题是由于应用程序中的设计问题引起的。检查应用程序中的并发访问模式和锁使用情况，考虑重新设计或优化以减少死锁风险。

5. 使用合适的锁机制：根据具体情况，可以考虑使用不同类型的锁机制来避免死锁。例如，使用行级锁而不是表级锁，或者使用乐观锁机制。

请注意，解决死锁问题可能需要一定的经验和调试技巧。如果您遇到复杂的死锁问题，建议咨询数据库管理员或PostgreSQL社区以获取更专业的支持和建议。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 6

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值