web程序乱码深入分析【基础原理篇】--php为例

PHP的curl爬虫出现乱码 事情的经过:    up主使用PHP的curl写了一个小爬虫    通过chomre的调试将HTTP的头部拿到,复制到了伪造的header中,大概如下:  "content-type: application/x-www-form-urlencoded;charset=UTF-8", "Referer:************", "Host:***************", "Con 阅读详情

做web应用程序开发也有很多年了,前后涉及有,asp,asp.net,jsp,php 。尽管语言都不相同,在日常开发中,无论那门语言都出现过,浏览器端的乱码问题。 出现了,都会手忙脚乱一阵,上网查资料,一页一页看。 还有些紧张,因为boss可能还等着解决问题呢。 想必这些情况,做web开发的同人也是经常遇到的。 下面要讲的是比较原理性的,我想如果对于乱码产生原因找到了,以后出现类似问题。按照原理推论,一定也会很快解决。 (以下说明文件,都是以文本文件说明)

 

一、文本文件编码是什么?

 

A、文本文件编码存在哪里了呢?

 

我们知道,计算机存储文件,最终都是以二进制保存的,通过流方式读取任何文件,得到是8位的字节流。一个文件生成了,同时也确定了它的编码了。 以下通过软件:winhex比较说明:

通过使用记事本:输入“中”,另存为时候,分别选择:utf-8,unicode,ansi编码。我们通过winhex打开比较下。

image

utf-8:EF BB BF E4 B8 AD 6字节

unicode:FF FE 2D 4E 4字节

ansi(gb2312):D6 D0  2字节

同一个汉字中,保存为文件后,实质存储的字节码各不相同。

这里我们一定想到一个问题,读取该文件的软件打开这个文件,怎么都可以显示出:“中”呢? 

 

如果我们继续思考下就会想到: 这个文本文件的编码是不是存在文件属性中了呢?

答案是:查看属性没有任何不同

 

那文件编码存在:文件的字节码里面了?

哈哈,我也是这么想的,通过查阅资料知道,unicode码可以指定一个bom(顺序头),unicode常见表现形式有:utf-8,utf-16 顺序头不一样,因此很多软件可以通过这个标记来区分文件是什么编码了。 上面例子,utf-8头是:EFBBBF,unicode LE是:FFFE.

 

是不是所有文件编码都会写入到文件字节码里面呢?

 

如果真的这样的话,那么问题就简单了。所有应用程序读文本文件时候,读一下标记,那么就知道它是什么编码。 其实,除了unicode有bom这个特殊头外,其它编码可没有呢。 看到刚才那个:ansi(gb2312)编码了吗,值是:D6D0 刚才是“中” 在gb2312编码表中的代号。

 

B、怎么样获得文件编码呢?

上个例子中,我们知道,文本文件编码不可能都保存在文件字节码中。 那么,应用程序读取文件怎么样判断编码呢?

image

我们用:zend 工具,以EUC-JP生成一个文件,内容是:”中” ,通过:winHEX查看该文件,它的字节码是:C3 E6 。可以看到同样都是:"中” gb2312保存文件,得到字节码是:D6 D0 .

我用windows 记事本打开:2个文件看一下:

image

怎么我文件内容是:”中“,用euc_jp编码保存后,用记事本打开,看到是:”面“ 了呢? 是不是windows 记事本有问题呢?

记事本没有任何问题,windows 记事本在打开文本文件时候,会先判断bom类标记,如果发现文本文件存在该标记。那么,就能够知道它对应的编码了。然后,将字节流转换为对应编码字符串。 这样显示正常保存时候内容。

如果,没有bom头标记的文本,记事本程序,就默认当:ANSI编码处理了(在简体中文系统下,ANSI编码代表GB2312编码,在日文操作系统下,ANSI编码代表JIS编码),在简体中文下,ANSI对应是:gb2312。因此,记事本把”C3E6”当作gb2312处理。 C3E6在gb2312编码表中对应是汉字:“面” 了。

文本文件,保存时候存储编码,与读出时候设置编码,如果不统一,就会造成乱码!

 

二、php引擎怎么样获得我的文件编码

其实,这里说php引擎处理编码,与记事本识别编码基本是相同的。发现能够识别编码就识别,不能识别编码就按照:

php.in 中

default_charset = "iso-8859-1"

default_charset 指定编码处理了,默认是:iso-8859-1。

这里啰嗦一下,现在很多应用程序都会用:"iso-8859-1" 作为默认编码,jsp也是这样的。它的优点大家应该可以理解:iso-8859-1(EASCII 扩展ASCII编码)以ASCII为基础,在空置的0xA0-0xFF的范围内,加入96个字母及符号,藉以供使用附加符号的拉丁字母语言使用。用一个8位字符可以表示任意字符集。在程序开发中,我们常用的变量,都会是英文字符空格之类,这些都会在解析时候保持原来不变。而对于的中文字符,都会是多字节的。iso-8859-1解析后,会变成一些西欧字符。 但是实际上,并不会影响程序任何逻辑。 因为那些乱七八糟的西欧字符,只是一些注释,或者值而已。 程序语法完全没有破坏!!

 

处理完的结果它还是字节流,准备发送给浏览器。

 

 

 

三、浏览器怎么样获得服务端的编码

这里我们知道,浏览器得到web服务端返回的文件流,默认是:iso-8859-1 字节码。其实可以看作是与原始存文件流的字节码是相同的。

浏览器也是一个软件,它获得了字节流,它从那里知道字节流是什么编码呢?

这里有几种形式:

A、HTTP resposne头告知编码

 

以下是:访问:baidu.com httpwatch 抓包图:

image

我们只抓取了:Stream这个选项卡,可以通过这里看到,右下返回内容是乱码,其实这些就是服务器返回字节流。 再往上看:image 这里有个:charset。 哈哈,它就是服务端返回给浏览器的一个编码。浏览器通过这个编码就能够知道用什么编码类解析该字节流了。 注意,返回charset编码,一定要与该文件流保存编码一致。否则一样乱码!

B、通过html源码,meta头告知

并不是所有服务器端程序都会,都是很么按章出牌,告知自己流编码。很多时候,php开发人员没有加入:

header("Content-type:text/xml;charset=字符编码"); 那么浏览器还有其它方法处理吗?

image

如果meta头指定了,浏览器也一样知道编码是什么了。

C、有一些问题:

如果header,meta两个个都指定了以那个为准呢?

测试表明,以http 协议中,response 头里面的charset为主。 会忽视掉,meta指定。

 

如果header,meta两个都没有指定,会出现什么情况呢?

这个时候,就像上面例子里面的记事本了。 会怎么出现依据浏览器自己本身设置默认编码。如果你文件刚好是:gb2312编写,查看浏览器默认编码刚好也是:gb2312,那么你的中文字符显示正常。如果换上一个默认字符不一样,就会出现乱码情况。 这种情况,估计做web开发同人经常会遇到吧!

 

Matlab实战:3种雷达间歇采样干扰的仿真与识别(附完整代码) 本文通过Matlab实战,详细仿真了雷达有源间歇采样干扰的三种核心样式:直接转发、重复转发和循环转发干扰。文章提供了完整的代码实现,并深入探讨了基于时频分析和循环平稳分析的特征提取与识别方法,为雷达抗干扰技术的学习与实践提供了清晰的工程实现路径。 阅读详情

相关推荐

旋转变压器软件解码simulink仿真

旋转变压器软件解码simulink仿真、电机转速位置测量

qq_31446727的博客 2584

Web开发乱码问题原理分析

Java web开发过程经常遇到乱码,本篇我们探讨一下乱码产生的原因与解决思路。一次完整的Web请求会有4次编解码转换,如下所示。 第一次:客户端(通常为浏览器)将字符转换成TCP字节流发向服务器。这里有一次字符到字节的转换。第二次:服务器读取客户端发来的TCP字节流,转换成字符串。这里是一次字节到字符的转换。第三次:服务器将结果字符串换成TCP字节流发向客户端。这里又有一次字符到字节的转换。第四...

weixin_33979363的博客 189

三维荧光光谱(EEM)散射干扰实战:从识别到精准切除的完整流程

本文详细解析三维荧光光谱(EEM)中散射干扰的识别与精准切除流程,涵盖瑞利散射和拉曼散射的实战处理技巧。通过drEEM工具箱的应用示例和高级场景解决方案,帮助研究者有效消除散射干扰,提升数据准确性,特别适用于环境样品和生物活体样本分析。

weixin_42554042的博客 330

html中平移代码怎么用,javascript – HTML5 Canvas:在EaselJS中使用箭头键移动/平移世界...

经过一年的反复试验和学习,我觉得我开始更多地了解JavaScript了.所以,现在,我想尝试编写一个简单的2D平台游戏(想想超级马里奥世界或Sonic the Hedgehog).为此,我将使用EaselJS库.我试图找出如何使用左右箭头键在画布中移动/平移“世界”.我知道如何在箭头键的键盘上运行一个函数,但我不太清楚我应该如何接近移动/平移.当按下某个键时,我应该调整画布中每个东西的位置/坐标吗...

weixin_36432875的博客 357

电力自动化通信协议:104/101与61850标准解析

电力系统通信协议是智能电网和变电站自动化的核心技术基础。IEC 60870-5-104/101协议作为经典远动通信标准,采用客户端/服务器架构,支持遥测、遥信等数据传输。而IEC 61850标准则通过面向对象建模和SCL语言实现了设备互操作性。这两种协议在实际工程中常配合使用,104协议用于站控层通信,61850则应用于过程层。理解SCL模型文件结构和协议映射原理,对实现智能变电站的配置与调试至关重要。本文通过典型工程案例,详解协议转换和模型配置的最佳实践。

weixin_31155097的博客 363

联想ThinkPad声卡驱动安装避坑指南:从E470到X1 Carbon的通用解法

本文详细介绍了ThinkPad声卡驱动安装的全流程,从硬件识别到驱动获取、安装技巧及深度排错。涵盖E470到X1 Carbon等不同机型的通用解法,帮助用户解决音频驱动问题,提升使用体验。重点讲解了声音驱动的精准识别和安装策略,确保系统稳定运行。

weixin_29207439的博客 713

canvas使用js画箭头

/** *  * @param {Object} ctx    canvas对象 * @param {Object} fromX  起点x * @param {Object} fromY  起点y * @param {Object} toX    终点x * @param {Object} toY    终点y * @param {Object} theta  箭头夹角 * @pa

3570

stm32f407等芯片(HAL库)时钟频率修改(乱码)

其他片子及库文件未知、未验证,只是在使用stm32f407ZG配置串口打印的时候,出现乱码,就从以下几方面定位问题: 1. 确认串口GPIO相关配置; 2. 确认波特率等参数; 3. 确认时钟频率; 结果这次使用YH的串口打印程序在ZDYZ的开发板调试项目工程(有点另类...),做功能验证,就出现了以上问题,出于好奇开始调试,最终发现是时钟频率问题。 看到下图这个配置,因为ZDYZ开发板使用的是8MHz外部晶振(好像默认的是25MHz,如图2),所以他这里PLL_M是25,不是推荐值,感...

bulefire2009的博客 5518

web中解决提交乱码的方法原理解析(查资料总结)

一知半解

bang_come的博客 263

GEE数据融合——Landsat (collection 2,level 2 )4、5、7、8、9长时间序列影像数据融合和视频导出分析

长时间序列影像数据融合是指将Landsat影像数据集合2级2(Level 2)中的4、5、7、8和9这五个卫星的数据进行融合。具体来说,这包括将同一地点的多个卫星影像数据进行处理和整合,以产生一个单一的、具有更高质量的影像产品。在长时间序列影像数据融合中,首先需要对不同卫星的影像数据进行校正,以消除不同卫星之间的光谱差异、辐射度问题和几何纠正误差等。然后,通过使用融合算法,将多个卫星的影像数据进行组合,以生成一张全新的、高质量的合成影像。

此星光明博客 1736

【水文学法总结】河道内生态流量计算方法(含MATLAB实现代码)

简介水文学法实现河道内生态流量计算

WW、forever的博客 5022

关于php以及web开发的基础知识

关于php以及web开发的基础知识1.PHP是什么2.CGI3.CGI程序的工作方式4.FastCGI5.PHP-FPM6.PHP-FPM的作用7.php工作流程8.udp和tcp的区别(个人学习总结并不完整)9.udp与tcp的应用场景10.HTTP协议与HTTPS的区别 1.PHP是什么 php中文全称’超文本预处理器’,是服务器端动态脚本语言,相对于java来说是一种弱类型的语言 2.CGI...

wolegequ1993的博客 1126

vue3中使用antv-S2表格(基础功能版)

表格的数值默认会渲染排序 icon, 可以配置 showDefaultHeaderActionIcon关闭。当配置为对象时,always 控制是否在子维度不足 2 个时始终展示小计,默认不展示。首先创建一个vue3+vite+ts项目,可以查看下面相关文章,只看第一条即可。可以调整行宽、列宽、列排序、单个单元格详情展示、选中某列、某行等基本功能。可以通过上面设置的SUM函数自动计算出数值,也可以自定义累加函数。配置自定义方法优先级大于配置聚合方式,即配置。1、在项目中安装(npm/pnpm都可以)

蜗牛~~ 2210

php页面上显示中文乱码怎么解决,php输出中文乱码问题怎么解决?,php页面中文显示乱码...

php输出中文乱码问题怎么解决?怎么解决PHP输出中汉字乱码问题?,解决方案:1。对于HTML和PHP混合的页面,应该使用元标签或者header()函数来统一页面编码;2.对于纯PHP的静态页面,使用header()函数将编码设置为“UTF-8”;3.使用mysql_query()设置PHP连接mysql的代码。一般来说,乱码有两个原因。第一,因为字符集设置不正确,浏览器用错误的编码解析,导致一个...

weixin_42513632的博客 1409

STM32F407中文手册

STM32f407中文手册 本参考手册面向应用开发人员,提供有关使用 STM32F405xx/07xx、STM32F415xx/17xx、 STM32F42xxx 和 STM32F43xxx 微控制器存储器与外设的完整信息。STM32F405xx/07xx、STM32F415xx/17xx、STM32F42xxx 和 STM32F43xxx 构成一个微 控制器系列,各产品具有不同的存储器大小、封装和外设。有关订购信息以及器件的机械与电气特性,请参见数据手册。有关 ARM Cortex™-M4F 内核的信息,请参见《Cortex™-M4F 技术参考手册》。

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

PHP基础语法,web开发题

名字 = 值;不需要关键字你的变量名叫做 $名字使用变量的时候就是 $名字// 定义变量// 定义一个变量叫做$num 值是100$num = 100;四轮技术面+一轮hr面结束,学习到了不少,面试也是一个学习检测自己的过程,面试前大概复习了 一周的时间,把以前的代码看了一下,字节跳动比较注重算法,面试前刷了下leetcode和剑指offer, 也刷了些在牛客网上的面经。大概就说这些了,写代码去了~祝大家都能收获大厂offer~

2401_83946044的博客 836

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

PHP中文乱码的三个原因及解决方法

我们在做PHP项目的时候,经常会遇到中文乱码的问题,有时候编码问题还导致MYSQL的报错。中文乱码总共有三个原因 1:APACHE服务器设置导致乱码 2:PHP,或者HTML页面编码导致中文乱码 3:MYSQL数据库的表以及字段编码导致中文乱码 我们分别从这三个部分来探究PHP程序设计中的编码问题 在这之前我们要了解一些基本理论: 1、文件编码 每个文件在保存的时候都可以选择以什么编

lucia407的博客 2万+

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

Web开发中如何解决中文乱码问题

乱码问题永远是Web初学者的一个拦路虎,如果要避免乱码问题。需要了解乱码问题的成因。首先介绍几种常见的编码。 UTF-8(8-bit Unicode Transformation Format) UTF-8 是一种针对Unicode的可变长度字符编码,也是一种前缀码。它可以用来表示Unicode标准中的任何字符,且其编码中的第一个字节仍与ASCII兼容,这使得原来处理ASCII字符的软件无须或只须...

Tableau1的博客 1347

javascript php 之间传递 中文 避免乱码

在javascript代码中用encodeURIComponent()函数处理中文字符串,JS代码:<!-- string = encodeURIComponent(string); location.href = index.php?keyword=’+string;// -->PHP代码:<?php $keyword = (isset($_GET[keywo

nailwl 3387

五、WEB安全 05——PHP基础

五、WEB安全 05——PHP基础 1、PHP基础 01——PHP基础概念、PhpStorm 、phpstudy 的安装 (1)PHP简述 ​ PHP(全称:PHP:Hypertext Preprocessor,即"PHP:超文本预处理器")是一种通用开源脚本语言。 (2)在一个php文件中可以包括以下内容 a. PHP文件可包含文本、HTML、JavaScript代码和PHP代码。 b. PHP代码在服务器上执行,结果以纯HTML形式返回给浏览器。 c. PHP文件的默认文件扩展名是".php"。 (3

qwsn 2041

php手机页面中文输出乱码,如何解决php输出中文乱码的问题?

解决方案:1。对于HTML和PHP混合的页面,应该使用元标签或者header()函数来统一页面编码;2.对于纯PHP的静态页面,使用header()函数将编码设置为“UTF-8”;3.使用mysql_query()设置PHP连接mysql的代码。一般来说,乱码有两个原因。第一,因为字符集设置不正确,浏览器用错误的编码解析,导致一个乱七八糟的“天书”。第二,用错误的编码打开文件,然后保存。例如,一个...

weixin_33335851的博客 2404

php中一部分乱码,怎么解决php部分乱码问题

php部分乱码的解决办法:1、用Dreamweaver新建文件;2、在mysql里设置为utf8的字符集;3、在index.php的开头要写上“content="text/html; charset=utf-8”。本文操作环境:Windows7系统、PHP7.1版,DELL G3电脑php的部分乱码问题集的解决方法今天我终于开始自己写一个完整的web模板系统,是从零开始写起的,以前做网站都是通过网...

weixin_39932181的博客 289

如何解决PHP中文乱码问题?php乱码的根绝方案

PHP程序设计中中文编码问题曾经困扰很多人,导致这个问题的原因其实很简单,每个国家(或区域)都规定了计算机信息交换用的字符编码集,如美国的扩展 ASCII 码, 中国的 GB2312-80,日本的 JIS 等。作为该国家/区域内信息处理的基础,字符编码集起着统一编码的重要作用。字符编码集按长度分为 SBCS(单字节字符集),DBCS(双字节字符集)两大类。早期的软件(尤其是操作系统),为了解决本地

Lin的专栏 956

js php 中文乱码怎么解决_javascript向PHP传递中文乱码怎么办

javascript向PHP传递中文乱码的解决方法:首先在javascript代码中用【encodeURIComponent()】函数处理中文字符串;然后保证JavaScript和Asp、Php等后端程序间传值编码统一即可。javascript向PHP传递中文乱码的解决方法:在javascript代码中用encodeURIComponent()函数处理中文字符串,JS代码:string = enc...

weixin_42203796的博客 267

php web乱码问题,PHP常见乱码问题的解决方案

PHP乱码问题,很多地方都会出现,让我们从入门级别谈起吧。新手开始学PHP的时候,经常问:为什么数据库插入的数据是乱码? 这个问题解决很简单也很经典:就是保持数据库读、写、页面输出编码一致。MYSQL方面就是mysql_query(“set names XXX”) ,并且一定要放在执行SQL查询前面运行,所以一般是写在选择数据库后运行。(注意的是UTF-8编码在set names这里写作utf8)...

weixin_30598047的博客 248
上一篇: 由web程序出现乱码开始挖掘(Bom头、字符集与乱码)
下一篇: 通过PHPExcel导出Excel文件时,出现“格式与文件扩展名格式不一致”错误!
beyond__devil
博客等级 码龄14年 147粉丝 314原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值