19、Ruby 多语言处理与应用本地化实践

Ruby 多语言处理与应用本地化实践

1. m17n 安全的底层文本处理

在早期的 Ruby 版本中，字符串本质上是字节序列，而非字符序列。例如下面这段代码：

File.open("hello.txt") { |f|
  loop do
    break if f.eof?
    chunk = "CHUNK: #{f.read(5)}"
    puts chunk unless chunk.empty?
  end
}

其目的是按每 5 个字节的块输出文件内容。对于 ASCII 编码，这意味着 5 个字符。然而，对于多字节字符编码，尤其是像 UTF - 8 这样的可变长度编码，这种方法就会出现问题。

以 UTF - 8 编码的“吴佳”（两个字符，六个字节）为例，如果读取 5 个字节，就会破坏第二个字符的字节序列，得到像“吴\xE4\xBD”这样的乱码字符串。

在处理二进制数据时，我们无需担心字符编码。但很多时候，按块读取数据是为了将其拆分成小部分进行处理，而不是在字节层面操作。

CSV 标准库就是一个很好的例子，它具备 m17n 能力，会以与编码无关的方式处理文件。它不会假设 \n 是 CSV 文件中分隔行的默认行尾符，而是通过按块检查文件来确定行尾符。由于不知道行尾符，不能只读取一行文本，而且读取整个文件来确定行尾符效率极低，因为 CSV 数据可能非常大。

下面是解决该问题的代码：

def read_to_char(bytes)
  ret