UTF8、UNICODE、BOM的区分

常见的编解码概念

• unicdoe: 囊括了几乎所有的国家不同语言的一套字符编码集

• UTF-8:可变长的字符编码集(节省空间)，将unicode的抽象码映射成一个8位（单个字节的）字符集, utf8编码通常由【1~4】个字节组成

• UTF-16: 将unicode的抽象码映射成一个16位(2个字节）的字符集， utf16编码通常由2个或4个字节组成

• BOM： Bytes order mark字节编码顺序标志；分为大端字节序，小端字节序

  超过两个字节的编码流在进行网络、文件传输时，不同的cpu编解码字节顺序可能不同。为了能够在不同的环境下都能正确的解码字符，超过两个字节的编码格式必须要携带BOM标记。如：UTF-16、UTF-32

  而UTF-8由于其特殊的编解码条件，不需要带BOM标记，python也提供了带BOM标记的utf-8编码格式：utf-8-sig(微软系基本上所有的软件都是带BOM标记，utf-8-sig常用于微软系的软件编解码)

  传输过程中，解析端按照BOM的编码序列解码，才能得到正确的字符，否则就会乱码

  >>> '中'.encode('utf-16_le').decode('utf-16_be') 
  'ⵎ'								 # 以小端序列编码,大端序列解码,则出现乱码
  >>>