5、数据丢失预防的文本分类技术解析

数据丢失预防的文本分类技术解析

1. DLP语料库构建

为了训练和评估数据丢失预防（DLP）分类算法，创建了五个语料库，这也是首个公开可用的用于评估DLP系统的语料库。构建DLP语料库具有挑战性，因为需要包含企业的私有信息，但私有信息通常难以获取。以下是各个语料库的详细情况：
| 语料库名称 | 来源及内容 |
| — | — |
| DynCorp | 包含从该军事承包商泄露到维基解密的23份私有文档（来自其特工现场手册），以及从其网站获取的174个网页。 |
| TM | 有维基解密托管的来自超觉冥想组织的102份文档（包含该组织高级成员编写的研讨会说明），还有从各种相关网站获取的120份公共材料。 |
| Mormon | 包含一份摩门教手册（不对外分发），将其拆分为1000字符长的片段，并添加了通过维基解密获取的两份较小的补充组织文档，此外还从该教会网站收集了277个网页。 |
| Enron | 包含联邦能源监管委员会发布的、由Hearst等人标注的电子邮件（仅“与业务相关”的邮件），还从其已关闭的公共网站（通过互联网档案馆）获取了581个网页。 |
| Google | 由谷歌员工发布到软件开发博客的1119篇文章组成（若这些项目以闭源开发进行，这些博客文章将是私有内部文档），另外从公关相关博客获取了1481份公共文档。 |

此外，还包含一些代表非企业文档的语料库，如随机抽取的10K篇维基百科文章（维基百科测试语料库），以及用于测试分类器鲁棒性的Brown语料库（500个样本）和Reuters语料库（10788个样本）。

2. 评估标准与策略

一个成功的DLP分类器需要满足多