13、文本处理中的挑战与解决方案

文本处理中的挑战与解决方案

1. 文本格式与标记

文本通常以原始格式或经过某种标记的形式呈现。标记是指在计算机文件中插入一些并非文本本身的代码，这些代码用于解释文本的结构或格式。几乎所有处理文本的计算机系统都会使用某种形式的标记。商业文字处理软件也使用标记，但通过“所见即所得”（WYSIWYG）的显示方式将其对用户隐藏起来。在统计自然语言处理中处理语料库时，我们通常希望看到明确的标记，这也是语料库语言学家工具箱中的第一个工具是纯文本编辑器的部分原因。

2. 低级格式问题

2.1 无用格式与内容

根据语料库的来源，可能存在各种无法处理的格式和内容，这些都属于需要过滤掉的无用信息。例如：
- 文档标题和分隔符
- 排版代码
- 表格和图表
- 计算机文件中的乱码数据

2.2 OCR 问题

如果数据来自光学字符识别（OCR），OCR 过程可能会引入一些问题，如页眉、页脚和浮动材料（表格、图形和脚注）会破坏文本段落的连贯性。此外，还经常会出现单词识别错误的 OCR 错误。如果程序只处理连贯的英语文本，那么表格和图片等其他类型的内容应被视为无用信息。通常在进行进一步处理之前，需要一个过滤器来去除这些无用内容。

2.3 大小写问题

原始的布朗语料库全部是大写字母（在字母前加一个符号来表示大写）。如今，全大写的文本很少见，但即使是现代文本，也存在如何处理大小写的问题。例如，对于“the”、“The”和“THE”，在很多情况下我们希望将它们视为同一个词，比如在研究定冠词的用法或名词短语结构时。这可以通过将所有单词转换为大写或小写来实现，但问题