10、文本编码与正则表达式基础全解析

文本编码与正则表达式基础全解析

1. 文本编码问题

在处理文本时，遇到无效字节序列是非常常见且令人沮丧的事情。尤其是当文本经历多个环节流转时，比如从用户计算机到网页浏览器，再到网页应用程序、数据库，之后导出为 CSV 文件或其他格式，最后进入我们的程序。每一个环节都有可能引入编码错误。当我们只想处理文本而不想过多纠结于纠正这些错误时，一些处理方法就显得很有用。

1.1 检测编码

之前我们处理的是已知字符格式的转换问题，即当我们知道两种格式时，将文本从一种格式转换为另一种格式。但有时我们并不清楚处理的文本具体是什么编码，这时就需要猜测字符编码。理想情况下，我们希望能遵循一种通用逻辑来猜测文本的字符编码，如果不是 UTF - 8，就将文本转换为 UTF - 8。

在 Ruby 中，我们可以使用 Charlock Holmes 库来进行编码猜测。这个库由 Brian Marino 开发，它封装了成熟的国际组件 Unicode（ICU）库。

安装 Charlock Holmes 就像安装其他 Ruby gem 一样，其 gem 名称为 charlock_holmes 。安装好该库及其依赖的 ICU 库后，使用起来很简单。通常，我们会使用它为 String 类添加的方法。以下是具体示例：

require "charlock_holmes/string"
string = "H\xC3\xABll\xC3\xB8 w\xC3\xB4rld"
string.detec