Beam Search（集束搜索/束搜索）

最新推荐文章于 2025-03-20 15:43:08 发布
最新推荐文章于 2025-03-20 15:43:08 发布
阅读量543 收藏
点赞数
分类专栏： 机器学习
原文链接：https://www.zhihu.com/question/54356960/answer/293804923
版权

Beam Search 序列生成 自然语言处理 概率路径 计算效率
关键词由优快云通过智能技术生成

作者：Fyuocuk
链接：https://www.zhihu.com/question/54356960/answer/293804923
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
 

首先需要确定一个`Beam Size`，这里设置为2，意思是每个`word`后面的分支考虑概率最大的那两个`words`。比如下面的例子，从下往上首先分成A、B两个words，然后继续往上传播，句子变成是AA/AB/BA/BB这四种情况（绿色虚线）。考虑到`Beam Size=2`，选择概率最大的两个，假设是AB/BA（橙色大箭头）。然后以选择的AB/BA继续向上传播，又出现了四种情况ABA/ABB/BBA/BBB，依然是选择综合概率最大的两个ABB/BBB。以此类推，直至句子结束。只要可以调整好`Beam Size`，就能够使用最小的计算量，得到最优的结果。

 

(10-4）优先级遍历（Priority-based Search）算法：Beam Search (束搜索)算法
码农三叔
03-13 1679
Beam Search (束搜索)算法的主要优点是在保证一定搜索质量的前提下，降低了搜索的复杂度，适用于那些搜索空间较大但解空间又不太复杂的问题。Beam Search (束搜索)算法的基本思想是维护一个大小固定的束（beam），在每一步中，从当前节点扩展出若干个子节点，并根据一定的评价准则（例如启发函数）选择若干个最有希望的子节点加入束中。需要注意的是，在实现束搜索时，需要选择合适的评价准则来评估节点的质量，并动态调整束的大小以平衡搜索的广度和深度，从而提高搜索效率。否则，返回搜索过程中得到的最优解。
【人工智能专栏】Beam Search 束搜索
热情、奔放、快乐编程！
07-31 168
这里是一个的Beam Search示意图，每个节点都会扩展5个下级节点，在 Beam Search 每次都会从所有扩展节点里面挑选出2个累计启发值最大的节点，直到达到结束标准。
【AI知识点】束搜索（Beam Search）
AI完全体
10-20 2474
束搜索（Beam Search） 是一种常用于序列生成任务的启发式搜索算法，广泛应用于自然语言处理中的机器翻译、文本生成等任务。它是一种平衡了搜索效率和搜索质量的方法，相比于贪心搜索，它能找到更优的解，但计算复杂度比穷举搜索更低。
束搜索算法（Andrew Jungwirth 初稿）BEAM Search
girlhpp的专栏
02-20 1万+
·最近搜了几篇束搜索的文章，这篇最直白易懂，并有示例的详细步骤图解，比维基百科的更为合适，因此拿在这里，供参考。 原文链接：Beam Search Algorithm (Draft by Andrew Jungwirth) 束搜索算法 本文目标： 1.演示了如何在存储有限的情况下进行类似的宽度优先的图搜索算法，即束搜索，使用启发式函数和限定的束宽度beam width . 2.强调在搜索
深入理解束搜索（Beam Search）
酒酿小圆子呀～
03-20 136
束搜索是一种在序列生成任务中用于平衡搜索效率和准确性的算法，它通过同时保留多个候选序列，能够避免局部最优解问题。其束宽决定了搜索范围和计算复杂度，广泛应用于机器翻译、文本生成和语音识别等任务。
集束搜索（Beam Search）
csdn_xmj的博客
07-28 6250
来源：Coursera吴恩达深度学习课程 我们来看看集束搜索（beam search）算法，上篇文章选择最可能的句子讲了对于机器翻译来说，给定输入（法语句子），我们并不想要一个随机的英语翻译结果，而是想要一个最好的，最可能的英语翻译结果。对于语音识别也一样，给定一个输入的语音片段，我们不会想要一个随机的文本翻译结果，而是想要最接近原意的翻译结果，集束搜索就是解决这个最常用的算法。让我们用法语句子的例子来试一下集束搜索吧。 “Jane visite l'Afrique en Septembre.”（法
集束搜索
shi_zyb的专栏
04-01 2457
看计算机科学中最重要的32个算法，其中有个是集束搜索（又名定向搜索，Beam Search）——最佳优先搜索算法的优化。使用启发式函数评估它检查的每个节点的能力。不过，集束搜索只能在每个深度中发现前m个最符合条件的节点，m是固定数字——集束的宽度。 泛泛的介绍，不是很能理解清楚，于是有百度又google，写篇东西备忘。先贴维基百科的地址：Beam Search 翻译过来就是： Beam Se
集束搜索（Beam Search Algorithm ）
热门推荐
DavidChen的博客
08-06 1万+
看计算机科学中最重要的32个算法，其中有个是集束搜索（又名定向搜索，Beam Search）——最佳优先搜索算法的优化。使用启发式函数评估它检查的每个节点的能力。不过，集束搜索只能在每个深度中发现前m个最符合条件的节点，m是固定数字——集束的宽度。 泛泛的介绍，不是很能理解清楚，于是有百度又google，写篇东西备忘。先贴维基百科的地址：Beam Search 翻译过来就是： Beam Se
集束搜索BeamSearch
Taylar_where的博客
05-23 1019
在开始写关于集束搜索的文章之前，我发现我对很多相关的算法都不是很熟悉，这严重影响到了我对集束搜索的理解，为了能让自己更好的理解集束搜索，我又回顾了一些基础。 我的回顾之旅: BFS算法中，我总结了两篇二叉树的BFS搜索和无向图的BFS搜索，在理解BFS搜索算法的过程中又额外涉及到了通过树的中序和先序遍历生成二叉树和存储无向图的邻接矩阵和邻接链表这两个知识点，有兴趣的朋友可以查看我的文集“算法之...
Beam Search集束搜索
CharlesOyfz的博客
06-14 1431
在Seq2Seq解码部分中,常用到Beam Search。每个时刻它会保存b（beam size）个概率最大的选择作为当前的最佳选择，然后解码下一时刻时，继续选择和之前保存的b个选择组合起来后的概率最大的b个选择，依次循环迭代下去，直到编码结束。 下面直接上图： 在机器翻译中: 法语输入:Jane visite l’Afrique en septembre. 人工翻译:Jane vis...
NLP语言模型，机器翻译任务中的贪心搜索 Greedy search 和集束搜索 Beam search（学习心得）
AItrust的博客
05-05 1261
Picking the most likely sentence 可以把机器翻译，想像成建立一个条件语言模型 a conditional language model 语言模型，可以用来估计一个语句的概率 也可以根据第一个输入，来产生后续的输出 机器翻译模型，有两个网络，分别是编码网络和解码网络，对应上面的绿色和紫色 可以发现，后面的解码网络，和语言模型非常类似 所以这两个模型的区别在于，语言模...
Beam Search
IT之一小佬的博客
04-25 5119
Beam Search 1. Beam Search的介绍 【波束搜索】 在进行模型评估的过程中，每次我们选择概率最大的token id作为输出，那么整个输出的句子的概率就是最大的么？ 【在图上：绿色箭头代表的概率大于红色箭头代表的概率】 Beam search的又被称作束集搜索，是一种seq2seq中用来优化输出结果的算法(不在训练过程中使用)。 【在一定的范围内进行搜索】 例如：传统的获取解码器输出的过程中，每次只选择概率最大的那个结果，作为当前时间步的输出，等到输出结束，我们会...
什么是束搜索？
weixin_45780075的博客
03-27 592
束搜索的主要优点是能够在保留多个假设的同时，有效地减少搜索空间，提高搜索的效率和生成序列的质量。然而，束搜索也存在一些缺点，例如可能会导致生成的序列过度重复或过度保守，以及可能会错过全局最优解。在每一步中，模型生成候选列表中每个序列的下一个单词，并根据某种评分机制对候选列表中的序列进行排序。通常情况下，这个评分机制会结合模型预测的单词概率以及之前的累积得分，来衡量每个序列的可能性。在生成完整序列之后，束搜索会从候选列表中选择得分最高的序列作为最终的输出。
集束搜索（beam search）
qq_40722284的博客
04-23 1793
基本的集束搜索算法 解决的问题 寻找一个最接近原意的结果 过程 第一步，找到第一个输出y的概率值。其中考虑一个概念--集束宽（beam width，简称bw）,表示在每一步中有多少选择。 执行过程是，将法语句子输入到编码网络，然后解码网络，softmax层会输出10,000个输出概率值，然后 取bw个单词保存起来。（即保存前bw个值）。 第二步，在第一步选出的单词作为第一个，然后考虑第...
[DeeplearningAI笔记]序列模型3.3-3.5集束搜索
泛用演化计算、通用人工智能优化模型
08-31 668
5.3序列模型与注意力机制 觉得有用的话,欢迎一起讨论相互学习~Follow Me 3.3 集束搜索Beam Search 对于机器翻译来说，给定输入的句子，会返回一个随机的英语翻译结果，但是你想要一个最好的英语翻译结果。对于语音识别也是一样，给定一个输入的语音片段，你不会想要一个随机的文本翻译结果，你想要一个最接近愿意的翻译结果。 Jane visite l’Afrique en...
束搜索（Beam Search）
彬彬侠的博客
02-07 1047
束搜索（Beam Search）是一种广泛应用于序列生成模型（如机器翻译、语音识别、文本生成等）的启发式搜索算法。它是广度优先搜索的一种优化方法，主要用于解决序列解码问题，如从一个给定的输入序列生成最可能的输出序列。本文包含了基本原理、示例和Python代码实现。
集束搜索代码
最新发布
03-24
### 集束搜索 (Beam Search) 算法实现 集束搜索是一种用于优化解码过程的算法，在自然语言处理（NLP）、机器翻译等领域广泛应用。它通过维护一组可能的最佳路径来扩展贪婪搜索的思想，从而提高生成序列的质量。 以下是基于 Python 的简单集束搜索代码示例： ```python import numpy as np def beam_search(scores_fn, start_token, end_token, max_len=10, beam_width=3): """ 使用集束搜索生成序列 参数: scores_fn: 计算给定前缀后的下一个 token 得分函数 输入为当前序列，返回为形状为(vocab_size,)的得分数组 start_token: 起始标记 end_token: 结束标记 max_len: 序列最大长度 beam_width: 束宽 返回: best_sequence: 最优序列及其对应的分数 """ beams = [(start_token, 0)] # 初始束列表，包含起始标记和初始得分为零 sequences = [] # 存储完成的序列 for _ in range(max_len): new_beams = [] for seq, score in beams: if seq[-1] == end_token: # 如果遇到结束标记，则保存该序列并跳过后续计算 sequences.append((seq, score)) continue # 获取下一时刻所有可能token的得分 next_scores = scores_fn(seq) # 将每个候选加入到新束中 for i in range(len(next_scores)): candidate_seq = list(seq) + [i] candidate_score = score + next_scores[i] new_beams.append((candidate_seq, candidate_score)) # 按照得分排序，并截取前beam_width个最佳候选项 sorted_new_beams = sorted(new_beams, key=lambda x: x[1], reverse=True)[:beam_width] # 更新束列表 beams = sorted_new_beams # 添加剩余未完成的序列至sequences sequences += [(b[0], b[1]) for b in beams if b[0][-1] != end_token] # 找到最优序列 best_sequence = max(sequences, key=lambda x: x[1]) return best_sequence # 假设的一个打分函数scores_fn模拟器 vocab_size = 5 np.random.seed(42) def mock_scores_fn(sequence): """模拟一个随机打分函数""" return np.random.rand(vocab_size) best_seq, best_score = beam_search(mock_scores_fn, start_token=[0], end_token=4, max_len=8, beam_width=2) print(f"Best Sequence: {best_seq}, Score: {best_score}") ``` 上述代码定义了一个通用的 `beam_search` 函数，其中输入是一个评分函数 `scores_fn` 和其他必要的参数如起始标记、终止标记以及束宽等。此函数会逐步构建序列直到达到指定的最大长度或者找到足够的有效序列为止[^4]。 #### 关键点解释 - **束宽 (`beam_width`) 控制着每一步保留多少条最有可能的路径**，较大的束宽可以提升准确性但也增加了计算成本。 - 当某个序列到达结束标志时会被立即存储起来不再参与进一步扩展。 - 在每一时间步上都会重新评估所有的可能性并将它们按总累积概率降序排列后选取顶部若干项作为新的候选集合[^5]。 ### 注意事项 实际应用中的 `scores_fn` 可能来自复杂的神经网络模型输出层经过 softmax 处理之后的结果向量；因此需要依据具体场景调整相应部分逻辑以适配不同类型的底层架构需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值