37、信息提取与多文档摘要生成技术解析

信息提取与多文档摘要生成技术解析

1. 博客搜索性能与信息提取方法

在信息检索领域，从网页中提取相关信息是一项具有挑战性的工作。以博客搜索为例，采用经典的带有狄利克雷平滑的语言模型进行相关博客页面的检索。下面是不同模型的博客搜索性能对比：
| 模型 | Map | R - Prec | bPref | P@10 |
| — | — | — | — | — |
| 语言模型（提取前） | 0.2987 | 0.4030 | 0.4039 | 0.6460 |
| 语言模型（提取后） | 0.3224 | 0.4335 | 0.4439 | 0.6800 |
| Trec2006最佳结果 | 0.2983 | 0.3925 | 0.4272 | 0.706 |

从表格数据可以看出，提取方法对四个评估指标都有提升，并且在三个指标上优于Trec2006博客赛道的最佳结果。

为了获取博客文章和评论，采用了一种两阶段方法：
- 第一阶段 ：使用基于有效文本信息的方法定位主文本，该方法结合了有效文本信息和视觉信息的优势。
- 第二阶段 ：在寻找文章和评论的分隔符时，选择信息熵最小的分隔符。

虽然这种两阶段方法取得了不错的效果，但仍有改进空间。例如，在寻找分隔符时，仅使用了一元模型计算信息熵，相较于二元和三元模型，一元模型在表示信息方面较为简单，并且HTML标签之间存在一些关系，特别是层次结构关系未被充分利用。

2. 自动文本摘要概述

自动文本摘要是自动生成源文档或文档集合主要主题简短版本