机器学习与游戏玩法:原理、应用与挑战
逻辑程序与相关概念
逻辑程序是一组逻辑规则或子句,用于通过消解推理规则回答查询。例如,下面的逻辑程序定义了祖父母、父母、父亲和母亲的关系:
grandparent(X,Y) :- parent(X,Z),
parent(Z,Y).
parent(X,Y) :- father(X,Y).
parent(X,Y) :- mother(X,Y).
father(charles, william).
mother(diana, william).
father(philip, charles).
mother(elizabeth, charles).
father(john, diana).
mother(frances, diana).
当查询
:-grandparent(X,Y)
时,使用消解可以得到以下答案:
X = philip,
Y = william ;
X = john,
Y = william ;
X = elizabeth,
Y = william ;
X = frances,
Y = william.
相关的交叉引用概念包括子句、一阶逻辑和Prolog等。
逻辑回归也称为Logit模型,它为将线性回归技术应用于分类问题提供了一种机制。它使用线性回归模型:
[
z = \beta_0 + \beta_1x_1 + \beta_2x_2 + \cdots + \beta_nx_n
]
其中 (x_1) 到 (x_n) 表示 (n) 个属性的值,(\beta_0) 到 (\beta_n) 表示权重。该模型通过以下公式映射到区间 ([0,1]):
[
P(c_0|x_1 \cdots x_n) = \frac{1}{1 + e^{-z}}
]
其中 (c_0) 表示类别0。
机器学习在游戏玩法中的应用
游戏玩法是人工智能研究,特别是机器学习的一个主要应用领域。传统上,该领域关注策略游戏中的学习,如井字棋、跳棋、西洋双陆棋、国际象棋、围棋、奥赛罗棋、扑克或桥牌等。近年来,计算机和视频游戏也受到了更多关注。
游戏玩法应用成为机器学习流行测试平台的原因如下:
-
专注智能推理
:游戏允许专注于智能推理,可忽略智能代理的其他组件,如感知或物理动作。
-
易于访问
:典型的游戏玩法环境通常可在几天甚至几小时内实现,不过实时计算机游戏的开源测试平台较少。
-
广泛受欢迎
:游戏广受欢迎,向公众描述代理的任务并不困难,他们可以轻松欣赏所达到的智能水平。
游戏玩法应用中反复出现的问题包括开局库学习、评估函数学习、玩家建模等。
评估函数学习
游戏玩法中研究最广泛的学习问题是自动调整评估函数的权重。通常,游戏程序员会提供计算当前棋盘位置重要特征的例程库,但如何组合这些知识以及量化它们的相对重要性是未知的。最常见的是线性组合这些参数,因此学习任务是调整加权和的权重。
主要问题是通常没有直接的目标值可作为训练信号。一般来说,算法使用偏好学习(根据专家玩家的偏好标记移动或位置对)或强化学习(根据游戏最终结果的信息训练移动或位置)来调整评估函数。
强化学习方法的关键问题是信用分配问题,即即使游戏获胜(失败),游戏中可能也有糟糕(好)的移动。强化学习对这个问题采取激进的立场,给所有位置相同的强化信号,希望错误信号会随着时间被平均掉。
例如,MENACE是一个井字棋玩家,它使用一堆火柴盒模拟延迟奖励的强化学习。每个火柴盒代表一个位置,包含不同颜色的珠子,代表该位置的不同合法移动。移动是通过从代表当前位置的盒子中随机抽取一个珠子来选择的。游戏获胜后,所有已玩的移动通过向这些盒子中添加相应颜色的珠子来强化;在游戏失败的情况下,相应的珠子被移除,从而降低再次玩相同移动的概率。
西洋双陆棋程序TD - Gammon是通过与自己玩数百万局游戏将评估函数调整到专家水平的典型例子。它的关键创新是使用神经网络而不是位置表,以便强化信号可以推广到新的未见位置。许多作者试图将TD - GAMMON的学习方法复制到其他游戏,但都没有取得像TD - GAMMON那样令人印象深刻的性能。
评估函数学习的许多方面仍在当前文献中讨论,包括是否有强化学习的替代方法(如进化算法)、应使用哪种训练策略(如自我对弈与与教师对弈)等。自动构建有用特征的关键问题仍然很大程度上未解决,不过在奥赛罗棋中已经取得了一些进展。
下面是评估函数学习相关技术的对比表格:
| 技术 | 优点 | 缺点 | 适用游戏 |
| ---- | ---- | ---- | ---- |
| 偏好学习 | 利用专家偏好 | 需要专家标记数据 | 多种游戏 |
| 强化学习 | 可从游戏结果学习 | 存在信用分配问题 | 多种游戏 |
| TD - Gammon | 可推广到新位置 | 对游戏特性要求高 | 西洋双陆棋 |
mermaid流程图展示评估函数学习流程:
graph LR
A[提供特征计算例程] --> B[确定组合方式和权重]
B --> C{选择学习方法}
C -->|偏好学习| D[标记移动或位置对]
C -->|强化学习| E[根据游戏结果训练]
E --> F{是否TD - Gammon}
F -->|是| G[使用神经网络]
F -->|否| H[其他方式]
D --> I[调整评估函数权重]
E --> I
G --> I
H --> I
搜索控制学习
自动调整游戏玩法程序中控制搜索的各种参数是一个更具挑战性但研究较少的任务。这些参数影响搜索算法修剪无前途搜索树部分的激进程度以及哪些线路被更深入探索。
关键问题是这些参数与搜索算法相互交织,不能独立优化,使得这个过程非常繁琐和昂贵。
一些尝试使用基于解释的学习来自动学习指示搜索树哪些分支最有前途的谓词,但这些方法未能成功应用于游戏树搜索。
Björnsson和Marsland提出了一种梯度下降方法,该方法最小化成功解决多个训练问题所需搜索的游戏位置总数。其思想是根据每个参数对搜索节点数量变化的敏感性来调整参数,通过额外搜索估计这种敏感性。为避免单个问题的无限求解时间,对每个训练位置可搜索的位置数量进行限制,并使用模拟退火确保收敛。
搜索控制学习的步骤如下:
1. 确定控制搜索的参数。
2. 估计参数对搜索节点数量的敏感性。
3. 根据敏感性调整参数。
4. 限制每个训练位置的搜索位置数量。
5. 使用模拟退火确保收敛。
机器学习与游戏玩法:原理、应用与挑战
蒙特卡罗树搜索
自动调整评估函数和搜索控制参数并非对所有游戏都有效。多年来,计算机围棋在传统基于搜索和模式学习的算法上进展甚微。然而,当蒙特卡罗技术与树搜索算法相结合时,取得了突破。
蒙特卡罗树搜索(MCTS)的基本算法交织四个阶段:
1.
选择
:选择当前搜索树的一个节点进行扩展。
2.
扩展
:为选定的节点生成一个(或多个)后继节点。
3.
模拟
:从这些节点开始,模拟一场游戏直到达到终止状态。
4.
反向传播
:将观察到的结果传播回树的根节点。
最著名的此类方法UCT,可以看作是解决k - 臂赌博机问题的UCB方法在搜索树上的扩展。在选择阶段,UCT为当前树的每个内部节点计算以下项来选择下一个节点:
[UCT = X_j + C \cdot \sqrt{\frac{2 \ln n}{n_j}}]
其中 (X_j) 是在节点 (j) 观察到的平均奖励,(n_j) 是该节点被访问的次数,(n) 是其前驱节点被访问的次数。显然,可以看出具有高效用的节点通常更受青睐(利用),但第二项也增加了很少被访问的节点被选中的机会(探索)。参数 (C) 可以调整以权衡探索和利用。从选定的节点进行一次随机滚动,并使用其结果来调整搜索树中所有访问节点的 (X_j) 值。
MCTS通常适用,但在游戏玩法中尤其成功,特别是在计算机围棋中。例如,AlphaGo在2016年3月的一场著名的五局比赛中击败了世界级围棋选手,它采用深度学习训练价值网络来评估位置,并使用策略网络将MCTS的模拟阶段偏向有前途的移动。
蒙特卡罗树搜索各阶段对比表格:
| 阶段 | 作用 | 操作 |
| ---- | ---- | ---- |
| 选择 | 确定扩展节点 | 计算UCT值选择 |
| 扩展 | 增加搜索树节点 | 生成后继节点 |
| 模拟 | 模拟游戏到结束 | 从选定节点开始模拟 |
| 反向传播 | 更新节点信息 | 将结果传播到根节点 |
mermaid流程图展示蒙特卡罗树搜索流程:
graph LR
A[开始] --> B[选择节点]
B --> C[扩展节点]
C --> D[模拟游戏]
D --> E[反向传播结果]
E --> F{是否继续}
F -->|是| B
F -->|否| G[结束]
开局库学习
人类游戏玩家不仅依靠评估移动和位置的能力,还常常能够“凭记忆”玩某些位置,即无需思考下一步行动。开局库的使用为计算机增加了游戏实力,但构建和更新开局库是一项艰巨的任务。
商业游戏玩法程序,特别是国际象棋程序,采用工具从大型游戏数据库自动构建开局库。关键挑战在于不能仅依赖统计信息,因为在数百场游戏中成功使用的一步棋可能在一场游戏中被反驳。
Donninger和Lorenz描述了一种基于实验得出的启发式公式评估一步棋“好坏”的方法,该值被添加到常规alpha - beta搜索的结果中。这种技术非常成功,最强的国际象棋程序之一HYDRA已经放弃了传统的大型人工制作(因此容易出错)的开局库。类似的技术也在奥赛罗棋等游戏中使用。
开局库学习步骤如下:
1. 收集大型游戏数据库。
2. 评估每一步棋的“好坏”。
3. 将评估值与常规搜索结果结合。
4. 构建和更新开局库。
模式发现
除了常见开局数据库和大量游戏集合外,许多游戏或子游戏已经被解决,即可以查找这些子游戏位置的博弈论价值的数据库是可用的。例如,国际象棋中所有最多六个棋子的残局和跳棋中所有十个棋子的残局都已被解决,四子连珠游戏已完全解决。
最简单的学习任务是训练一个分类器,以确定给定的游戏位置是博弈论上的胜利、失败(或平局)。但在许多情况下,这是不够的。例如,在国际象棋残局王 - 车 - 王中,原则上,任何白车不能立即被吃掉且黑方不是逼和的位置都是白方获胜。但要实际赢得比赛,仅仅做出避免车被吃和逼和的移动是不够的。因此,大多数数据库包含赢得该位置所需的最大移动次数,预测这个是一个更难且很大程度上未解决的问题。
模式发现的应用包括获取游戏特定知识和基于知识的数据库压缩。
玩家建模
玩家建模是游戏玩法中的一个重要研究领域,有以下几个目的:
-
对手建模
:通过允许机器玩家适应对手并利用其弱点来提高其能力。即使知道游戏的博弈论最优解,能够建模对手行为的系统可能获得更高的奖励。例如,在石头 - 剪刀 - 布游戏中,能够适应总是出石头的对手的玩家可以最大化其奖励,而坚持“最优”随机策略的玩家仍然只能赢得三分之一的游戏。像扑克这样的游戏,对手建模对于提高超过博弈论最优玩法至关重要。
-
商业游戏应用
:在商业计算机游戏中,玩家建模越来越重要。行为克隆技术可用于通过复制专家人类玩家的策略来提高人工角色的游戏实力或可信度。此外,角色的游戏实力可以根据人类玩家的技能水平进行调整。在大型多人在线角色扮演游戏(MMORPG)中,训练来模拟用户游戏行为的化身可以在人类玩家无法参与时代替他。
玩家建模的方法和应用表格:
| 目的 | 方法 | 应用场景 |
| ---- | ---- | ---- |
| 对手建模 | 分析对手行为 | 策略游戏,如扑克 |
| 提高角色实力 | 行为克隆 | 商业计算机游戏 |
| 适应玩家水平 | 动态调整 | 各种游戏 |
| 代替玩家 | 模拟玩家行为 | MMORPG |
商业计算机游戏
近年来,计算机游戏行业发现人工智能是使游戏更具娱乐性和挑战性的必要成分,反之,人工智能也发现计算机游戏是一个有趣且有回报的应用领域。
与传统策略游戏相比,计算机游戏应用要求更高,因为这些游戏中的代理通常必须在高度动态、实时的环境中与大量伙伴或敌方代理进行交互,并且对其状态的了解不完整。任务包括离线或在线玩家建模、具有学习能力的虚拟代理、计划和过程优化等。
计算机游戏中的玩家通常由脚本控制。动态脚本是一种在线强化学习技术,旨在集成到游戏玩法代理的脚本语言中。与传统的强化学习代理不同,它同时更新给定状态下所有动作的权重。这牺牲了保证收敛性,但在高度动态的游戏环境中是可取的。该方法成功应用于提高计算机控制角色的实力,并通过自动调整游戏AI的难度级别来增加游戏的娱乐价值。
Ponsen等人通过进化算法扩展了动态脚本,以自动构建战术行为。此外,机器学习技术不仅用于控制玩家,还用于技能估计等任务,例如TrueSkillTM是一种贝叶斯技能评级系统,用于对微软Xbox 360游戏中的玩家进行排名,SAGA - ML是一个支持游戏设计师提高游戏可玩性的机器学习系统。
商业计算机游戏中机器学习应用总结列表:
1. 玩家建模:离线或在线分析玩家行为。
2. 虚拟代理:赋予代理学习能力。
3. 动态脚本:实时调整玩家行为。
4. 技能估计:评估玩家技能水平。
5. 战术构建:自动生成战术行为。
总之,机器学习在游戏玩法中的应用涵盖了多个方面,从传统策略游戏到现代计算机和视频游戏,都取得了显著的进展。然而,仍然存在许多挑战,如自动构建有用特征、解决信用分配问题等,未来的研究有望在这些领域取得进一步的突破。
310



被折叠的 条评论
为什么被折叠?



