神经网络助力搜索:从训练到同义词生成
1. 搜索引擎与神经网络的协同工作
1.1 神经网络的学习方式
人工神经网络可以通过有监督学习或无监督学习来进行训练。有监督学习基于带有标签的数据训练集,为每个输入提供预期输出的信息;无监督学习则不提供每个输入的正确输出信息,旨在提取模式和学习表示。
1.2 搜索引擎与神经网络的集成方式
搜索引擎的典型工作流程包括内容索引和搜索,且这两个任务可以并行进行。将搜索引擎与神经网络集成的方式有以下三种:
- 先训练后索引(Train - then - index) :先在文档集合(文本、图像)上训练网络,然后将相同的数据索引到搜索引擎中,并在搜索时将神经网络与搜索引擎结合使用。
- 先索引后训练(Index - then - train) :先将文档集合索引到搜索引擎中,然后用索引的数据训练神经网络(数据变化时可能需要重新训练),最后在搜索时将神经网络与搜索引擎结合使用。
- 训练 - 提取 - 索引(Train - extract - index) :先在文档集合上训练网络,使用训练好的网络创建有用的资源,并与数据一起进行索引。搜索时仅使用搜索引擎,无需与神经网络交互。
以下是这三种集成方式的对比表格:
| 集成方式 | 步骤 | 适用场景 |
| ---- | ---- | ---- |
| 先训练后索引 | 训练网络 -> 索引数据 -> 搜索时结合使用 | 文本生成等 |
| 先索引后训练 | 索引数
超级会员免费看
订阅专栏 解锁全文
1938

被折叠的 条评论
为什么被折叠?



