GBK GB2312 utf-8 编码测试

很好的参考:[url]http://sunfish.blog.51cto.com/417500/142577/[/url]

编码解码分析(仅是乱码的一种情况):
中文的utf-8编码是 每个中文用三个字节来编码,比如下面例子生成6个字节:
c1:
"亢磊".getBytes("utf-8")
(byte[]) [-28, -70, -94, -25, -93, -118]


c2:
"亢磊".getBytes("iso-8859-1")//63 对应的iso-8859-1表查询是'?',(为什么有时候我们的中文传递过程中变成? ?)
(byte[]) [63, 63]

c1,c2是编码过程,再把c1,c2的字节序列按照iso-8859-1解码,我们可以从[url]这里http://en.wikipedia.org/wiki/ISO_8859-1[/url]查结果
c3:
new String("亢磊".getBytes("utf-8"),"iso-8859-1")//每个字节对应iso-8859-1对照表中的一个字符,所以结果为6个字符。(经常看到的乱码?)
(java.lang.String) 亢ç£


结果:“[size=xx-large]亢ç£[/size]”是六个字节,byte数值-十六进制-iso-8859-1符号对应关系分别是:
byte数值-十六进制-iso-8859-1符号
[table]
|byte数值|十六进制|iso-8859-1符号|iso-8859-1|
|-28|e4|[size=xx-large]ä[/size]|[img]http://dl.iteye.com/upload/picture/pic/61523/1c65b123-fc14-3f4e-86b0-3d4b99002813.png[/img]|
|-70|ba|[size=xx-large]º[/size]|[img]http://dl.iteye.com/upload/picture/pic/61521/ba27c49b-a889-335e-80a3-61bbf1423496.png[/img]|
|-94|a2|[size=xx-large]¢[/size]|[img]http://dl.iteye.com/upload/picture/pic/61527/8b034c28-26c3-3353-bb81-d5a1613c1762.png[/img]|
|-25|e7|[size=xx-large]ç[/size]|[img]http://dl.iteye.com/upload/picture/pic/61525/6aa4dc72-85a7-3dfd-8347-ad698eecd0f8.png[/img]|
|-93|a3|[size=xx-large]£[/size]|[img]http://dl.iteye.com/upload/picture/pic/61519/50ceb9d6-d809-3059-9069-6d863f86d205.png[/img]|
|-118|8a|[size=xx-large][/size]||
[/table]
爬虫之网页乱码解决方法(gb2312 -> utf-8) 前言   今天在测试爬虫项目时,发现了一个很严肃的问题,当爬取的网页编码格式为gb2312时,按照一般的办法转化为utf-8编码时总是乱码,PS:爬取的所有网页无论何种编码格式,都转化为utf-8格式进行存储。 一、问题出现   使用这篇文章里面的方法可以直接爬取页面信息并保存至本地使用Httpclient实现网页的爬取并保存至本地,当爬取这个网页时http://stock.10 阅读详情

相关推荐

GBK字符集编码表

标准的GBK字符集编码表,工具类文档必备

GB2312与UTF-8 汉字编辑问题

一、简言之:       GB2312编码大约包含6000多汉字,GBK是GB2312的扩充,大约22014汉字。GB18030是BGK的扩充,大约55657汉字。UTF(万国码)统一标准,UTF-8虽然范围没有GBK大,但国际化统一标准。比如中日韩台湾等地区通用。二、DreamWeaver asp.net网页,由服务器发回的汉字显示?或??        近日,我在Windows 2

zx2356的专栏 2117

汉字GB2312编码查询工具

简单的汉字GB2312编码查询工具,暂时只支持查询汉字,能查一些中文字符,英文字符会被识别错误!!!ASCII表中包含的那些字符不可以用,适用于单片机开发者做字符取模时查询编码

测试utf-8 & gbk & unicode 编码解码

# coding:UTF-8 #测试编码 #str--------->unicode--------->str #---decode------------encode----- #str=gbk/utf-8 import platform print "###########################" print "python version=", print plat...

qiuye2014的博客 531

不到200块!手把手教你用ZYNQ7010和AD9363攒一台自己的开源SDR硬件(附BOM清单)

本文详细介绍了如何用不到200元的预算,基于ZYNQ7010 FPGA和AD9363射频芯片打造一台功能完备的开源SDR硬件平台。从核心组件选型、PCB设计到焊接调试,提供全流程实战指南,特别适合预算有限的硬件爱好者和创客群体探索无线通信世界。

weixin_26854829的博客 479

钣金设计高薪进阶:从材料工艺到DFMA降本增效全解析

钣金设计是机械制造领域的核心技术之一,它涉及将金属板材通过切割、折弯、焊接等工艺成型为所需零件。其核心原理在于深刻理解材料特性、制造工艺约束与结构力学,以确保设计在功能、成本与可制造性之间取得最佳平衡。这项技术的价值在于,优秀的钣金设计能直接驱动产品降本增效,通过优化材料利用率、简化装配工序和避免设计缺陷,为企业节省大量模具与生产成本。其应用场景广泛,从机箱机柜、汽车部件到电子设备外壳无处不在。本文将聚焦于实现这一价值的关键路径,深入探讨面向制造与装配的设计(DFMA)原则在钣金领域的实战应用,并剖析如何通

weixin_34301132的博客 392

GBK和UTF-8的粗暴判断

最近遇到一些url中携带没有encode掉的汉字,并且这样的url有的是utf-8编码,有的又是gbk编码。最终这些url被记录下来的时候,必然就有一类url是乱码了。有人说,汉语博大精深,可恰恰也是这些博大精深的东西时不时的让我们伤透脑筋。我认为这种url编码的情况,最专业的手法应该是url上有一个参数用来说明编码。现在既然没有人告诉我这个url是什么编码,那么我也得尽力判断,然后转换编码。

可乐爱上咖啡 8636

Cisco思科 电子科技大学计算机网络 SRWE 期末技能考试 (PTSA)

电子科技大学2024春_SRWE_计算机网络系统 SRWE 期末技能考试 (PTSA)

2301_76745065的博客 5094

检测字节流的编码类型(GBK,UNICODE,GB18030,UTF8..)

想对文本文件做处理,但是有的文本文件没有BOM信息,于是只能对字节流进行检测。 网上找不到综合的,于是干脆自己写了。 比较麻烦的是big5和gbk(在代码里我将ASCII,GB2312,GBK统称为ANSI)的判断,因为gbk的码区包含了big5的部分。 不过测试了不少文件,几十个样本的准确率还是100%。 但估计总有漏网之鱼。 下面为实现代码,供简单参考。   ==========

kendyhj9999的专栏 1118

LDPC码译码原理——概率公式推导

怎么说呢,一直以来都想写一下博客。近半年多来我一直在学习LDPC码译码上的东西,主要是在FPGA实现上的,所以这次想写一些关于这方面的内容,包括译码的原理、仿真以及实现。(当然是基于准循环LDPC码上实现的)不过呢,我写这个的初衷是为了让初学者理解入门用的,而不是在大牛面前班门弄斧,有错误之处欢迎大家批评指正。不知道会不会有人一开始像我一样,为了学好LDPC码,先去好好了解其它的诸如RS码或者是卷...

stand_by_me123的博客 2万+

万物皆可GAN ---普通GAN, pix2pix, CycleGAN和pix2pixHD的比较以及演变过程

普通GAN, pix2pix, CycleGAN和pix2pixHD的原理、比较以及演变过程

m0_61985580的博客 3724

编码标准-GB2312 GBK GB18030

编码标准-GB2312基本概念区位码GB 2312GBKGB 18030 基本概念 国家标准代码,简称国标码,亦被新加坡采用。国家标准强制标准冠以“GB”。推荐标准冠以“GB/T”。 GB 现时中华人民共和国官方强制使用 GB 18030 标准,但较旧的计算机仍然使用 GB 2312。 “GB”在计算机领域中常常表示 GB 2312-80 或 GB 18030-2005。两者是汉语编码系统的标准,...

aha_jasper的博客 9835

CodeX 登录报错 os error 10013?一键修复 CodeX 无法登录问题(亲测有效)

CodeX 登录时报 os error 10013?本文提供快速修复方案,实测有效,彻底解决登录报错:登录失败:failed to start login server: 以一种访问权限不允许的方式做了一个访问套接字的尝试。 (os error 10013)的问题💡

XiaoqiangClub的博客 2927

QT乱码总结2.gbk和ANSI和gb2312的区别

QT乱码总结0.Qt乱码产生因素https://blog.youkuaiyun.com/liujiayu2/article/details/103167953 QT乱码总结1.Unicode 和 UTF-8https://blog.youkuaiyun.com/liujiayu2/article/details/103168020 QT乱码总结2.gbk和ANSI和gb2312的区别https://blog.csdn...

liujiayu2的专栏 1432

人工智能在软件测试中的广泛应用领域

人工智能在软件测试中的应用领域涵盖了自动化测试、缺陷预测和缺陷检测、智能化测试报告生成等方面。以上提供的示例代码只是其中的一小部分,实际上,人工智能在软件测试中还有许多其他的应用。通过结合人工智能和软件测试,可以提高测试效率和质量,减少测试工作的人力成本,并帮助开发人员更好地理解和改进软件产品。人工智能(Artificial Intelligence,简称AI)在软件测试领域的应用越来越广泛。下面将介绍几个人工智能在软件测试中的主要应用领域,并提供一些相关的源代码示例。

FycPerformance的博客 462

多无人车协同探索开源包部署教程及常见报错解决方式

本博客将介绍项目的基本概念、部署步骤以及常见问题的解决方案。该项目利用 RRT(Rapidly-exploring Random Tree)算法,通过多机器人协作进行高效的环境探索,适用于自动化与自主导航任务。项目简介:介绍该项目的核心算法、特点及应用场景,展示如何通过多个机器人共同工作来提升探索效率。部署教程:详细讲解如何在 ROS Noetic 环境中部署该项目,安装依赖、创建工作空间、克隆代码并编译项目。项目运行:包括单机器人与多机器人自主探索的示例,帮助读者快速理解和实践项目。

慕羽★的博客 1764

utf-8等编码方式汉字和英文各占据的字节数

UTF-8编码下一个汉字(包括中文形式下的符号)一般是3个字节,一个英文(包括英文下的符号)1个字节,一个数字1个字节; 在GBK和GB2312编码下一个汉字(包括中文形式下的符号)是2个字节,一个英文(包括英文下的符号)1个字节,一个数字1个字节; Unicode编码一个汉字(包括中文形式下的符号)和一个英文(包括英文下的符号)一个数字都是4个字节; ASCII编码一个英文(包括英文下的符...

可乐止饱 6447

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

编码的八位码_软件测试从业者要懂点字符编码

自从踏入IT这行开始,就的发现,字符的编码问题一直持续不断的影响着每一个从业者。开发语言有编码,就像Python就规定,源文件以UTF-8的方式存储。文件有编码,就像Windows的记事本,写完内容保存时,可以选择文件的编码格式。网页内容的显示有字符的编码格式。数据库的设计需要选择和确定数据的字符编码。例如MySQL数据库支持的字符集:一些测试工具在查看一些测试数据的时候,也需要设置字符的编码格式...

weixin_39678103的博客 1168

假人有限元模型

假人模型,车辆碰撞假人有限元模型,适合做乘员安全的研究者利用

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

GBK和UTF-8的区别

GBK和UTF-8概述: UTF-8(8位Unicode转换格式):是一种用于编码各种字符的相对较新的代码约定。它是字符标识的标准,也是各种编程语言和设备的参考,有助于标准化字母,数字和其他字符的显示。UTF-8也称为RFC 2279。 GBK:GBK即汉字内码扩展规范,K为扩展的汉语拼音中"扩"字的声母。英文全称Chinese Internal Code Specification。GBK编码标准兼容GB2312,共收录汉字21003个、符号883个,并提供1894个造字码位,简、繁体字融于一库。GB23

nakoaix的博客 3804

SAP B1中文培訓教材_SDK

公司内部培训资料,对开发工具 ,DIAPI, UIAPI,Add-ON有详细解说

软件测试从业者要懂点字符编码

自从踏入IT这行开始,就的发现,字符的编码问题一直持续不断的影响着每一个从业者。开发语言有编码,就像Python就规定,源文件以UTF-8的方式存储。 文件有编码,就像Windows的记事本,写完内容保存时,可以选择文件的编码格式。 网页内容的显示有字符的编码格式。 数据库的设计需要选择和确定数据的字符编码。例如MySQL数据库支持的字符集: 一些测试工具在查看一些测试数据的时候,也需要设置字符的编码格式。例如Fiddler要在系统的注册表中设置参数,并将值改为UTF-8. .

qq_28301699的博客 337

Java中文乱码之一 文件编码与系统环境

转自:http://blog.163.com/comfort_122/blog/static/489044092010715103354256/ 从本文开始阐述我对java中文乱码问题的一些心得。希望这个系列文章能对被java中文编码问题困扰的朋友提供一点帮助。 文件编码与系统环境 在这个命题里面,我将关注与java源码文件的编码与操作系统自身的编码对于javac编译产生的影响。 首先

Manketon的专栏 4484

常见编码的简单认识

在做测试时,经常会遇到很多乱码,因此想简单了解一下编码。以下是对编码学习的一个记录。

qq_46041172的博客 2212

Java中汉字、字母、数字所占字节是多少?

1.重点: 不同的编码格式占字节数是不同的,UTF-8编码下一个中文所占字节也是不确定的,可能是2个、3个、4个字节; 2.不多说,直接上程序: @Test public void test1() throws UnsupportedEncodingException { String a = "名"; System.out.println("...

c851204293的博客 3975

2024-09-27 buildroot C和语言将 中文的GBK编码转换为 UTF-8 的代码, printf 显示出来,使用 iconv 库去实现。

【代码】2024-09-27 buildroot C和语言将 中文的GBK编码转换为 UTF-8 的代码, printf 显示出来,使用 iconv 库去实现。

海月汐辰 605

GBK 与 UTF-8

GBK与UTF-8的区别: GBK是在国家标准GB2312基础上扩容后兼容GB2312的标准。GBK编码专门用来解决中文编码的,是双字节的。不论中英文都是双字节的。支持持简体中文。 UTF-8 编码是用以解决国际上字符的一种多字节编码,它对英文使...

1258
上一篇: request.setCharacterEncoding 乱码 与 response.setCharacterEncoding 乱码测试
下一篇: jsp get方法的乱码如何处理
effective_java
博客等级 码龄17年 2粉丝 14原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值