11、自然语言处理应用的质量评估与优化策略

自然语言处理应用的质量评估与优化策略

1. SQL 查询生成与重排序

在自然语言处理中，将自然语言问题转化为 SQL 查询是一个重要的任务。研究人员通过自动生成 SQL 查询，基于语法关系和匹配元数据来实现自然语言与数据库的交互。
- 生成结果 ：生成方法在 82% 的情况下能得到正确的结果集。对于其他问题，在移除 33 个特定问题后，99% 的问题能在生成的前 10 个答案中找到正确结果。并且，93% 的情况下，正确查询能在前三个中被找到。
- 重排序结果 ：使用不同的核函数（如 STK+STK、STK×STK 和 (1+STK×STK)²）进行重排序，能提供更好的排名。例如，(1+STK×STK)² 核函数仅使用前两个答案，就能在 94% 的情况下检索到正确答案。

为了评估重排序器的结果，研究人员采用了标准的 10 折交叉验证，并测量每个问题选择查询的平均召回率和标准差。以下是不同核函数组合的召回率（± 标准差）：
| 组合 | Rec@1 | Rec@2 | Rec@3 | Rec@4 | Rec@5 |
| — | — | — | — | — | — |
| NO RERANKING | 81.4±5.8 | 87.6±3.8 | 90.8±3.1 | 94.0±2.4 | 95.0±2.0 |
| STK + STK | 83.5±3.6 | 90.4±3.5 | 94.2±2.9 | 95.8±2.0 | 96.7±1.7 |
| STK × STK | 86.5±4.0 | 92.6±3.7 | 95.3±3.2 | 97.0±1.8 | 9