UTF-8文本文件头部出现乱码“锘*”的问题及解决方法

昨天发现一个ini配置文件，在某些机器上修改后程序无法识别的问题。DBinfo_old是修改后，DBinfo.ini是修改前。

同一份程序，可以正确识别DBinfo.ini中的DBAddress等内容，但是不能识别DBinfo_old中的内容。使用UltraEdit打开内容也一样。

但是使用UltraEdit的16进制查看功能，却发现DBinfo_old的头部多出了3个字节：EF BB BF，而EF BB和BF 5B恰好表示锘字和縖字，其中5B是左方括号。

并且在Linux上也能看出两者的不同：

最后想到应该是DOM作祟，用UltraEdit的另存为功能验证了一下，果然如此：

当把文件编码选为UTF-8时，系统会自动在文件头部添加上EF BB BF这三个字节，而选为UTF-8 NO BOM时会自动去掉这三个字节。

附：

关于BOM是什么，引用zhangwei@lenovots.com一段话来解释一下，以下是引文：

对比发现文本装换程序导致转换后的文本出现多于站位符，二进制表示为EF BB EF：

所谓的EF BB EF问题，其实是UTF-8文件的Unicode签名BOM(Byte Order Mark)问题，在JSP和PHP开发中都经常碰到。

BOM(Byte Order Mark)，是UTF编码方案里用于标识编码的标准标记，在UTF-16里本来是FF FE，变成UTF-8就成了EF BB BF。这个标记是可选的，因为UTF8字节没有顺序，所以它可以被用来检测一个字节流是否是UTF-8编码的。微软做这种检测，但有些软件不做这种检测，而把它当作正常字符处理。

微软在自己的UTF-8格式的文本文件之前加上了EF BB BF三个字节, windows上面的notepad等程序就是根据这三个字节来确定一个文本文件是ASCII的还是UTF-8的, 然而这个只是微软暗自作的标记, 其它平台上并没有对UTF-8文本文件做个这样的标记。

（以上引自http://kms.lenovots.com/kb/article.php?id=3354）

最后要注意一点，不同版本的UltraEdit，在点保存时的默认选项不同，版本15会默认选择UTF-8（With BOM）而版本18则会默认选择UTF-8 NO BOM。