8、基于黏菌特性的多臂老虎机问题解决方案

基于黏菌特性的多臂老虎机问题解决方案

在当今的计算和决策领域，多臂老虎机问题是一个备受关注的挑战。它涉及在不确定环境中寻找最优策略以最大化总奖励。本文将介绍一种基于单细胞变形虫特性的“拔河（TOW）模型”，并与其他经典算法进行对比。

1. 引言

近年来，对多头绒泡菌这种单细胞多核变形虫生物的研究十分活跃，因其展现出了显著的计算能力。例如，中垣和他的同事们发现这种变形虫能够找到食物之间的最短路径，还能预测周期性事件。

当把变形虫放在琼脂板上的星状腔室中时，它会伸出多个分支，并通过同时扩展和收缩这些分支来不断改变形状。由于其具有避光行为，当受到光照时，变形虫会收回分支。青野和他的同事们利用这一特性，根据递归神经网络模型应用光反馈，创建了一台神经计算机，用于探索优化问题的解决方案。他们通过诱导变形虫的分支在星状腔室中扩展或收缩，来寻找旅行商问题（TSP）的最优解，结果表明这台基于变形虫的计算机能够以较高的概率得出四城市TSP的最优解。

我们认为生物有机体和数字计算机在信息处理方面存在关键差异，生物有机体在处理某些问题上可能具有优势。在变形虫体内，一定量的细胞内原生质溶胶在管状通道中穿梭，而其细胞外凝胶层（外质）像海绵一样有节奏地振荡收缩张力，挤压和吸收溶胶。在变形虫振荡分支收集环境信息时，除非提供营养物质，否则流经其身体的溶胶体积保持不变。我们对这种物理守恒定律如何影响变形虫的信息处理很感兴趣，因此考虑了“多臂老虎机问题”，因为它与生物有机体在适应不确定环境时面临的困难相关。

以双臂老虎机问题为例，假设有一台有两个臂的老虎机，每个臂都有各自的奖励概率PA和PB。玩家在每次试验中拉动一个臂，有相应的概率获得奖励，如一枚硬币。玩家的目标是在一定次数的