linux 下处理bom问题

为什么bom头会产生乱码？

有bom头的存储或者字节流，它一定是unicode字符集编码。到底属于那一种（utf-8还是utf-16或是utf-32)，通过头可以判断出来。由于已经说过utf-16,utf-32不指定bom头，解析程序默认就认为是ansi编码，出现乱码。 而utf-8指定或者不指定程序都可判断知道对于的字符集编码。问题就出在这里，可能有的应用程序（ie6浏览器），它就认为如果utf-8编码，就不需要指定bom头，它可以自己判断，相反指定了bom头，它还会出现问题（因为它把头当utf-8解析出现乱码了）。这里不截图了，cnblogs里面谈这个比较多，目前ie6会出现问题。其它ie7+,firefox,chrome不会出现，会忽略掉bom头。 统一解决办法是：存为utf-8编码是，不需要加入bom头，其它utf-16,utf-32加入。

\xef\xbb\xbf是UTF8 BOM的16进制表示

1，查找包含BOM头的文件，命令如下：

grep -r -I -l $'^\xEF\xBB\xBF' ./

2，这个命令会把当前目录及所有子目录下的BOM头删除掉。

find . -type f -exec sed -i 's/\xEF\xBB\xBF//' {} \;

3，实际应用过一次

grep -r $'\xEF\xBB\xBF' * |grep .php
:set nobomb