10、餐厅推荐与开放域对话系统的研究进展

餐厅推荐与开放域对话系统的研究进展

1. 餐厅推荐实验

在餐厅推荐的研究中，面临着评估推荐餐厅整体相关性的挑战，因为呈现给用户的信息会影响他们的判断。研究假设用户偏好的餐厅与查询相关的片段有关，通过对片段的评分来评估模型。

1.1 信息检索

• 方法 ：对于每个查询，应用无监督和迁移学习方法对每个片段进行评分，并根据这些分数对餐厅进行排名。随机选择前五个推荐餐厅之一，并手动标注前五个匹配片段的相关性（相关/不相关）。

• 模型表现 ：
  | 模型 | 所有片段相关百分比（500） | 菜单项相关百分比（200） | 客观信息相关百分比（125） | 主观信息相关百分比（155） | 至少有一个相关片段的查询百分比 | 平均相关片段数量 |
  | ---- | ---- | ---- | ---- | ---- | ---- | ---- |
  | Cos - TF - IDF | 65% | 59% | 53% | 67% | 83% | 3.25 |
  | Cos - BERT | 57% | 61% | 55% | 60% | 86% | 2.86 |
  | Trans - BERT (SNLI) | 16% | 10% | 13% | 20% | 41% | 0.79 |

• 分析 ：

  • Cos - TF - IDF 基于精确关键字匹配，整体片段相关性最高为 65%，在包含形容词的主观信息查询中表现最佳（