【NLP入门教程】一、字符编码和Unicode_nlp 英文字符输入如何编码-优快云博客

本文链接：https://blog.youkuaiyun.com/m0_68629936/article/details/130006858

本文介绍了字符编码的发展，从ASCII到Unicode的演变，以及Unicode在解决字符兼容性问题上的作用。讨论了UTF-8作为Unicode的实现方式，强调其与ASCII的兼容性和自同步特性。在Python中，字符串默认使用Unicode，处理文件时可以指定编码格式。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

这里写自定义目录标题

2.1.1 字符编码的发展
2.1.2 Unicode简介
2.1.3 Python中的字符编码和Unicode

字符编码是一种将字符与数字相互映射的方式，以便计算机可以处理和存储文本信息。在计算机中，所有信息最终都以二进制形式表示，因此字符编码的核心任务就是将字符与二进制数进行映射。随着计算机技术的发展，出现了许多不同的字符编码标准。在本节中，我们将简要介绍字符编码的发展历程以及Unicode的概念。

2.1.1 字符编码的发展

早期的计算机系统主要处理英文文本，因此ASCII（美国标准信息交换码）编码成为了第一个广泛使用的字符编码标准。ASCII使用7位二进制数（128个不同的值）来表示128个字符，包括英文字母、数字、标点符号和一些控制字符。然而，随着计算机技术的全球普及，ASCII编码无法满足其他语言和地区的需求。

为了解决这个问题，各个国家和地区开始开发自己的字符编码标准，如ISO-8859系列、GB2312（中国）、Shift-JIS（日本）等。这些编码标准各自使用8位或16位二进制数来表示更多的字符，但同时也带来了新的问题：不同编码之间的兼容性问题。例如，同一个二进制数在不同编码下可能对应不同的字符，这导致了文本信息在不同系统间传输时可能出现乱码现象。