超级会员免费看
利用极小极大算法实现游戏AI决策
1. 游戏树的概念与构建
在游戏中，连接格子中任意两个相邻的点，此时代表游戏状态的真实游戏树会有许多分支，每个玩家的每一个可能的移动都会对应一个分支。在游戏树的每一层都是如此，不仅自己有很多移动选择，对手也有，并且每个移动在可进行的节点处都会有自己的分支。只有在游戏接近尾声，几乎所有线段都已绘制完成时，可能的移动数量才会缩减到两个和一个。
游戏树与决策树有重要区别，决策树基于特征进行分类和预测，而游戏树只是描述每一种可能的未来。构建游戏树时，我们需要生成游戏中所有可能的移动列表，可通过嵌套循环来实现：
allpossible = []
gamesize = 5
for i in range(1,gamesize + 1):
for j in range(2,gamesize + 1):
allpossible.append([(i,j),(i,j - 1)])
for i in range(1,gamesize):
for j in range(1,gamesize + 1):
allpossible.append([(i,j),(i + 1,j)])
上述代码中，第一个循环添加垂直移动，第二个循环添加水平移动，最终
allpossible
列表将包含所有可能的移动。
在实际游戏中，并非所有移动都是可行的，已进行过的移动不能再次进行。我们可以通过以下代码移除已进行的移动：
for move in allpossible:
if move in game:
allpossible.remove(move)
得到所有可能的移动列表后，我们可以将游戏树记录为移动的嵌套列表。例如，一个简单的树可以表示为：
simple_tree = [[(4,4),(4,3)],[(1,3),(2,3)]]
若要包含对手的潜在响应，需要添加嵌套层次：
simple_tree_with_children = [[[(4,4),(4,3)],[]],[[(1,3),(2,3)],[]]]
完整的游戏树可以用更复杂的嵌套列表表示：
full_tree = [[[(4,4),(4,3)],[[(1,3),(2,3)],[(3,1),(4,1)]]],[[(1,3),(2,3)],[[(4,4),(4,3)],[(3,1),(4,1)]]]]
我们还可以编写函数来自动生成游戏树：
def generate_tree(possible_moves,depth,maxdepth):
tree = []
for move in possible_moves:
move_profile = [move]
if depth < maxdepth:
possible_moves2 = possible_moves.copy()
possible_moves2.remove(move)
move_profile.append(generate_tree(possible_moves2,depth + 1,maxdepth))
tree.append(move_profile)
return(tree)
调用示例：
allpossible = [[(4,4),(4,3)],[(4,1),(5,1)]]
thetree = generate_tree(allpossible,0,1)
print(thetree)
为了使游戏树更有用，我们可以添加记录游戏分数和预留子节点列表的功能：
def generate_tree(possible_moves,depth,maxdepth,game_so_far):
tree = []
for move in possible_moves:
move_profile = [move]
game2 = game_so_far.copy()
game2.append(move)
move_profile.append(score(game2))
if depth < maxdepth:
possible_moves2 = possible_moves.copy()
possible_moves2.remove(move)
move_profile.append(generate_tree(possible_moves2,depth + 1,maxdepth,game2))
else:
move_profile.append([])
tree.append(move_profile)
return(tree)
调用示例：
allpossible = [[(4,4),(4,3)],[(4,1),(5,1)]]
thetree = generate_tree(allpossible,0,1,[])
print(thetree)
2. 极小极大算法实现最佳移动选择
为了在游戏中选择最佳移动，我们使用极小极大（minimax）算法。该算法的核心思想是，我们试图最大化自己的分数，而对手试图最小化我们的分数。在选择移动时，我们需要考虑对手的所有可能反应，从而选择能带来最大最小分数的移动。
以下是极小极大算法的代码实现：
import numpy as np
def minimax(max_or_min,tree):
allscores = []
for move_profile in tree:
if move_profile[2] == []:
allscores.append(move_profile[1][0] - move_profile[1][1])
else:
move,score=minimax((-1) * max_or_min,move_profile[2])
allscores.append(score)
newlist = [score * max_or_min for score in allscores]
bestscore = max(newlist)
bestmove = np.argmax(newlist)
return(bestmove,max_or_min * bestscore)
使用极小极大算法选择最佳移动的步骤如下：
1. 定义游戏和获取所有可能的移动：
allpossible = []
game = [[(1,2),(1,1)],[(3,3),(4,3)],[(1,5),(2,5)],[(1,2),(2,2)],[(2,2),(2,1)],[(1,1),(2,1)],[(3,4),(3,3)],[(3,4),(4,4)]]
gamesize = 5
for i in range(1,gamesize + 1):
for j in range(2,gamesize + 1):
allpossible.append([(i,j),(i,j - 1)])
for i in range(1,gamesize):
for j in range(1,gamesize + 1):
allpossible.append([(i,j),(i + 1,j)])
for move in allpossible:
if move in game:
allpossible.remove(move)
- 生成深度为三层的完整游戏树：
thetree = generate_tree(allpossible,0,3,game)
- 调用极小极大算法：
move,score = minimax(1,thetree)
- 检查最佳移动：
print(thetree[move][0])
3. 极小极大算法的流程
下面是极小极大算法的流程mermaid图：
graph TD;
A[开始] --> B[遍历树的每个移动配置];
B --> C{移动配置是否有子节点};
C -- 是 --> D[递归调用minimax获取分数];
C -- 否 --> E[计算当前移动的分数];
D --> F[将分数添加到allscores列表];
E --> F;
F --> G[根据max_or_min调整分数列表];
G --> H[找到最大分数];
H --> I[找到最大分数对应的移动];
I --> J[返回最佳移动和分数];
J --> K[结束];
4. 不同移动选择的结果对比
| 移动选择 | 可能的未来结果 | 最佳结果 |
|---|---|---|
| 从(4,4)到(4,3) | 游戏平局1 - 1 | 平局1 - 1 |
| 从(1,3)到(2,3) | 落后0 - 2 | 落后0 - 2 |
通过对比可以清晰地看到，选择从(4,4)到(4,3)的移动能带来更好的结果。
5. 对AI性能的分析与改进方向
当前实现的AI存在一些局限性。它只能处理一种游戏，且规则较为简单。受处理器性能限制，在进行决策时，若向前查看过多步数，会花费大量时间（可能达到几分钟甚至更久）。为了提升AI的性能，我们可以从以下几个方面进行改进：
5.1 提高AI速度
AI速度慢的主要原因是需要处理的游戏树规模庞大。提高极小极大算法性能的一个主要方法是对游戏树进行剪枝。剪枝就像其字面意思一样，当某些分支被认为非常差或者是其他分支的重复时，我们将其从树中移除。不过，剪枝的实现并不简单，需要学习更多的算法才能做好。例如，alpha - beta剪枝算法，如果某个子分支肯定比树中其他地方的子分支差，就会停止对该子分支的检查。
5.2 支持不同规则或不同游戏
让AI能够处理不同规则或不同游戏也是一个重要的改进方向。以点格棋为例，常见的规则是玩家获得一分后可以再画一条线，这可能导致一个玩家在一回合内连续完成多个方格，这种规则变化会改变游戏的战略考量，需要对代码进行相应修改。此外，还可以尝试实现一个能在十字形或其他奇特形状的格子上玩点格棋的AI，这些特殊形状可能会影响游戏策略。
6. 超越本章范围的强大方法
除了上述改进方法外，还有一些强大的方法可以提高计算机AI的性能，虽然这些方法超出了本章的范围，但值得了解：
-
强化学习
：例如，一个国际象棋程序可以通过与自己对弈来不断提高。
-
蒙特卡罗方法
：像将棋程序可以生成随机的未来将棋游戏，以帮助理解各种可能性。
-
神经网络
：一个井字棋程序可以使用类似于之前讨论的机器学习方法来预测对手的行动。
这些方法虽然强大且出色，但大多只是让树搜索和极小极大算法更加高效，树搜索和极小极大算法仍然是战略AI的核心基础。
7. 总结与展望
通过上述内容，我们了解了如何构建游戏树，并使用极小极大算法在游戏中选择最佳移动。虽然当前的AI存在一定的局限性，但通过剪枝、支持不同规则和游戏以及采用更高级的方法，我们可以不断提升其性能。
未来，我们可以尝试以下操作来进一步优化和拓展AI的能力：
1.
实现剪枝算法
：学习并实现alpha - beta剪枝算法，提高AI的决策速度。
2.
拓展游戏类型
：修改代码，使AI能够处理不同规则或不同类型的游戏。
3.
结合高级方法
：尝试将强化学习、蒙特卡罗方法或神经网络与现有的树搜索和极小极大算法相结合，进一步提升AI的性能。
总之，通过不断的改进和创新，我们可以让AI在游戏和其他决策场景中发挥更大的作用。
8. 改进AI性能的操作步骤列表
为了方便大家对AI进行改进，下面列出具体的操作步骤：
8.1 实现剪枝算法
- 学习alpha - beta剪枝算法的原理和实现细节。
- 在现有的极小极大算法代码基础上，添加alpha - beta剪枝的逻辑。
- 测试剪枝后的算法性能，观察决策速度是否有所提高。
8.2 拓展游戏类型
- 分析新游戏的规则和特点，确定需要修改的代码部分。
- 修改生成游戏树的代码，使其能够生成新游戏的所有可能移动。
- 修改计算游戏分数的代码，以适应新游戏的规则。
- 测试修改后的代码，确保AI能够正确处理新游戏。
8.3 结合高级方法
- 学习强化学习、蒙特卡罗方法或神经网络的基本原理。
- 选择一种或多种高级方法，将其与现有的树搜索和极小极大算法相结合。
- 编写代码实现结合后的算法，并进行测试和优化。
9. 改进流程mermaid图
graph LR;
A[确定改进方向] --> B{提高速度};
A --> C{支持不同游戏};
A --> D{结合高级方法};
B --> E[学习剪枝算法];
E --> F[修改代码实现剪枝];
F --> G[测试性能];
C --> H[分析新游戏规则];
H --> I[修改游戏树生成代码];
I --> J[修改分数计算代码];
J --> K[测试新游戏];
D --> L[学习高级方法原理];
L --> M[结合现有算法];
M --> N[编写代码并测试优化];
通过以上的分析和操作步骤，相信大家能够更好地理解如何改进AI的性能，让其在更多的场景中发挥作用。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
