马尔科夫决策过程基本概念详解

【详解+推导!!】马尔可夫决策过程 马尔可夫决策过程, Markov Decision Process, MDP 文章目录一、为什么需要马尔可夫决策过程?二、马尔可夫决策过程1. 马尔可夫性2. 随机过程3. 马尔可夫过程4. 马尔可夫决策过程三、策略与累计回报1. 策略2. 累计回报四、值函数1. 值函数2. “状态值函数”与“状态-行为值函数”五、什么是强化学习算法? 一、为什么需要马尔可夫决策过程? [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YTGUytIs-1616223214043)(2021-0 阅读详情

马尔可夫决策过程(Markov decision process, MDP)是人工智能中的一个重要概念,也是强化学习的理论基础之一。在今天的文章中,我们使用来自Stuart Russell和Peter Norvig的《Artificial Intelligence: A Modern Approach》一书中的网格例子来介绍MDP的基本概念。

我们的吃豆人游戏

这里我们有一个 4×3 的网格世界,有一个机器人从左下角开始并在这个 2D 世界中移动来玩游戏。

931c4f9ae79fac5e3ec99e0d48a876ca.png


世界示例

我们的机器人可以向四个方向移动:上、下、左、右,与吃豆人的相似之处是我们的世界被不可通行的墙包围。黑色方块代表的边界内也有不可通过的墙。

右上角正方形中的绿色菱形代表终点线。如果我们到达这个方格,我们就会赢得这场比赛并获得很多积分(在本例中为 +1)。

在吃豆人中,总有鬼魂试图伤害你。在我们的游戏中,我们有一个带有红色毒药的方块。如果我们进入这个方格,我们就会输掉比赛并受到很多惩罚(在这个例子中是 -1)。

所有其他白色方块都是正常的方块。每次我们进入其中一个时,我们都会失去少量点数(在本例中为 -0.04)。如果我们随机移动,希望最终幸运地到达绿色菱形,那么我们每走一步就会损失 0.04 分,从而损失很多分。这就相当于机器人的电力系统,每走一步需要消耗一定的电量,所以机器人每走一步就要减去点积分,以保证最低的消耗。

为简单起见,我们假设我们的机器人总是从左下角开始,如上图所示。

综上所述,在玩这个游戏的时候,我们希望尽可能快地获得+1点,而一路上付出最少的-0.04,并且我们绝对要避免在红毒中以-1结束游戏。

MDP的定义

在《Artificial Intelligence: A Modern Approach》中,MDP 被定义为

具有马尔可夫转移模型和附加奖励的完全可观察的随机环境的顺序决策问题称为马尔可夫决策过程或 MDP,由一组状态(具有初始状态 s₀)组成;每个状态下的一组动作;一个转换模型 P(s'| s, a);和奖励函数 R(s)。

让我们用我们的例子来分解这个定义中的一些关键字。

代理(又叫智能体)是指机器人或吃豆人或我们放置在这个世界中的任何东西,它会环顾四周寻找可能的移动,考虑可能移动的利弊,做出下一步移动的决定,并执行移动。

环境是指世界的样子和世界的规则。在我们的例子中,环境包括我们的世界有多大,墙在哪里,如果我们撞到墙会发生什么,钻石在哪里,如果我们到达那里,我们得到多少分,毒药在哪里,如果我们到达还有我们输了多少分,等等。

MDP 中的状态是指我们代理的状态,而不是我们环境的状态。在 MDP 中,环境是给定的并且不会改变。相比之下,我们的代理可以将状态从先前的移动更改为当前的移动。在这个示例中代理有 12 个状态,代表我们的代理可能处于的 12 个方格。从技术上讲,我们的代理不能处于黑色方格中,但为简单起见,我们仍将黑色方格视为一个状态。在 MDP 中,我们使用 s 来表示状态,在我们的示例中,我们称它们为 s = 0, 1, 2, ..., 11。

ae36b74b2af5f6f9bec88ad96510a348.png

动作是指我们的代理在每个状态下可以采取的动作。每个状态的一组可能的操作不一定相同。在我们的示例中,对于每个状态 s,我们有四个可能的动作 A(s) = {up, down, left, and right}。我们使用 a 来表示动作。

奖励是指我们进入一个状态时获得的积分。在我们的示例中,对于不同的状态,它是 +1、-1 或 -0.04。奖励仅依赖于状态,这个从状态到奖励的函数表示为 R(s)。无论我们之前的状态如何,我们在进入某个状态时都会获得相同的奖励。例如,当 s = 3 时,r = R(s) = R(3)= +1。无论我们从左边的方格向右移动到它,还是从它下面的方格向上移动到它,我们都会得到相同的 +1 奖励。

累加奖励意味着来自不同动作的奖励是累积的。在我们的示例中,我们的最终积分(总奖励)是从钻石或毒药获得的积分与沿途可通过的方块获得的积分相加。不仅是最后一格获得的奖励,一路上获得的所有小奖励也很重要。在 MDP 中,我们假设我们可以将这些奖励加在一起。

转换模型告诉我们,如果我们在某个状态下选择某个动作,我们将进入下一个状态。这通常表示为表 P。如果我们处于状态 s 并且我们选择一个动作 a,那么 s' 成为下一个状态的概率是 P(s'| s, a)。

如果我们假设我们的世界是确定性的,那么我们预期的移动方向总是会实现。例如,如果我们在 s = 10 并且我们选择 a = UP,我们肯定会进入一个新的状态 s' = 6。

这可以被表示为:

7188bb8805aec48932cb6854ff224f3c.png

作为概率分布,所有 12 个 s' 的 P(s'| s = 10, a = UP) 之和总是等于 1。

随机意味着我们的世界不是我们上面假设的确定性的。从某个状态开始,如果我们选择相同的动作,我们不能保证进入相同的下一个状态。在我们的这个游戏中,可以将其视为我们的机器人以某种方式出现故障的可能性。例如,如果它决定向左走,那么实际上向左走的可能性很大。然而,它有一个很小的可能性,无论它有多小,它都会疯狂地向左以外的方向移动。

按照书中的例子,实际朝预期方向移动的概率是 0.8。向预定方向左移 90 度的概率为 0.1,向预定方向向右移动 90 度的概率为 0.1。

例如,如果我们在 s = 10 并且我们选择 a = UP,我们有 0.8 的概率进入预期的新状态 s' = 6。我们也有 0.1 的概率到达 s' = 9 并且到达 s' = 11 的概率为 0.1。

这可以写成下面这样:

d6677bccc6cb3971c57410cd2ec8f6a8.png

这是当 s = 10 且 a = UP 时的转换模型。现在对于每对状态 s 和动作 a,我们可以像这样写出到达每个新状态的概率。将所有这些组合在一起,我们得到了转换模型 P。我们有 12 种可能的状态和 4 种可能的动作。因此,我们的过渡模型 P 的维度为 12×4×12,共有 576 个概率值。

完全可观察意味着我们的代理是知道世界的全部样子以及它自己目前在那个世界中的位置。从某种意义上说,我们可以说我们的代理有上帝视角。它可以访问在每次移动中找到最佳决策所需的所有知识。这里的知识指的是我们的奖励函数 R(s) 和过渡模型 P(s'| s, a)。

顺序意味着我们当前的情况受先前决定的影响。出于同样的原因,所有未来的情况都会受到我们当前决定的影响。例如,如果我们从 s = 8 开始并决定向上移动作为我们的第一步,那么我们到达 s = 4。我们无法在下一步移动中到达 s = 10。如果我们选择向右移动作为我们从 s = 8 开始的第一步,那么我们到达 s = 9。现在我们可以通过向右移动到达 s = 10。换句话说,我们能否在第二步中达到 s = 10 取决于我们在第一步中的选择。

马尔可夫意味着我们的世界是没有记忆的。这似乎与我们对顺序的定义相反,但实际上它们具有完全不同的含义。顺序意味着我们能否在第二步中达到 s = 10 取决于我们在第一步中所做的选择。

但是无记忆是什么意思?

这意味着无论我们如何到达状态 s = 10,无论我们是从 s = 9 或 s = 11 或 s = 6 到达它,一旦我们处于该状态,我们总是面临相同的情况,具有相同可能的行动的集合 。如果我们做出决定,将会发生什么并不取决于过去发生了什么。换句话说,这只是意味着无论你在游戏中做了什么,P(s'| s, a) 在整个游戏过程中都不会改变。

当我们第 100 次达到 s = 10 时,我们将面临与第一次达到相同的动作选择。如果我们在这个状态下选择某个动作,结果总是遵循相同的概率分布。如果某个动作是我们第一次到达该状态时状态 s = 10 的最优动作,那么该动作始终是该状态的最优动作。

网格世界的代码实现

我们使用 csv 文件来表示我们的世界地图,其中 0 为可通过的白色方块,1 为绿色方块,2 为红色方块,3 为黑色方块。对于我们的示例,csv 文件如下所示:

0,0,0,1
0,3,0,2
0,0,0,0

我们使用以下代码来实现网格世界示例。每种类型方块的奖励由字典奖励表示。

import numpy as np
import matplotlib.pyplot as plt
import matplotlib.patches as patches




class GridWorld:
  def __init__(self, filename, reward=None):
      if reward is None:
          reward = {0: -0.04, 1: 1.0, 2: -1.0, 3: np.NaN}
      file = open(filename)
      self.map = np.array(
          [list(map(float, s.strip().split(","))) for s in file.readlines()]
      )
      self.num_rows = self.map.shape[0]
      self.num_cols = self.map.shape[1]
      self.num_states = self.num_rows * self.num_cols
      self.num_actions = 4
      self.reward = reward
      self.reward_function = self.get_reward_table()
      self.transition_model = self.get_transition_model()


  def get_state_from_pos(self, pos):
      return pos[0] * self.num_cols + pos[1]


  def get_pos_from_state(self, state):
      return state // self.num_cols, state % self.num_cols

奖励函数

正如我们上面解释的,奖励函数R(s) 仅依赖于状态 s。我们使用以下代码为每个 s 生成奖励函数 R(s) 的结果。

class GridWorld:
  def get_reward_function(self):
      reward_table = np.zeros(self.num_states)
      for r in range(self.num_rows):
          for c in range(self.num_cols):
              s = self.get_state_from_pos((r, c))
              reward_table[s] = self.reward[self.map[r, c]]
      return reward_table

转换模型

让我们回顾一下我们的游戏规则。如果我们撞到一堵墙,我们会被弹回并留在原处。如果我们想向上或向下移动,实际上向上或向下移动的概率为 0.8,向左移动的概率为 0.1,向右移动的概率为 0.1。同样,如果我们想向左或向右移动,实际上向左或向右移动的概率为 0.8,向上的概率为 0.1,向下的概率为 0.1。

我们使用以下代码生成转换模型。

class GridWorld:
  def get_transition_model(self, random_rate=0.2):
      transition_model = np.zeros((self.num_states, self.num_actions, self.num_states))
      for r in range(self.num_rows):
          for c in range(self.num_cols):
              s = self.get_state_from_pos((r, c))
              neighbor_s = np.zeros(self.num_actions)
              for a in range(self.num_actions):
                  new_r, new_c = r, c
                  if a == 0:
                      new_r = max(r - 1, 0)
                  elif a == 1:
                      new_c = min(c + 1, self.num_cols - 1)
                  elif a == 2:
                      new_r = min(r + 1, self.num_rows - 1)
                  elif a == 3:
                      new_c = max(c - 1, 0)
                  if self.map[new_r, new_c] == 3:
                      new_r, new_c = r, c
                  s_prime = self.get_state_from_pos((new_r, new_c))
                  neighbor_s[a] = s_prime
              for a in range(self.num_actions):
                  transition_model[s, a, int(neighbor_s[a])] += 1 - random_rate
                  transition_model[s, a, int(neighbor_s[(a + 1) % self.num_actions])] += random_rate / 2.0
                  transition_model[s, a, int(neighbor_s[(a - 1) % self.num_actions])] += random_rate / 2.0
      return transition_model

因为比较小,所以可以直接可视化出来:

fe7e74505d3797640d446836a6d77abd.png

让我们检查一下我们的模型是否有意义。例如,如果我们看 s = 8,当动作向下时,我们有 0.8 的概率向下然后撞墙并弹回 s' = 8,0.1 的概率向左走然后撞墙并返回 s' = 8,向右走并到达 s' = 9 的概率为 0.1。因此,s' = 8 对应于 p = 0.8 + 0.1 = 0.9,而 s' = 9 对应于 p = 0.1。

策略

策略是指在每个状态下要采取什么行动的指令。它通常表示为 π,它是 s 的函数。

例如,如果 s = 2 且 π(s) = π(2) = RIGHT,那么每当代理处于状态 s = 2 时都会执行 RIGHT 的动作。它是否真的可以走到右边的方块是另一个故事,这取决于转换模型中的概率。关键是,不管结果如何,只要策略返回应该走到哪里,代理总是认为策略是正确的并且执行。

我们查看策略的出发点是简单地生成一个随机策略并将其可视化。

class GridWorld:
def generate_random_policy(self):
  return np.random.randint(self.num_actions, size=self.num_states)

假设这个随机过程生成了以下策略。

7df72894146ba85e9ab6c76a0fa4e00a.png

我们可以明确地写出这个策略:π(0) = RIGHT, π(1) = RIGHT, π(2) = LEFT, … π(11) = UP。

乍一看,这种随机生成的策略似乎不起作用。例如,我们从s = 8开始,政策要求向右进入了s = 9,然后政策说向下。然而,s = 9的底部是一堵墙。我们只是撞到那堵墙,然后反弹回s = 9。似乎我们在s = 9处卡住了。

我们不会永远被困在 s = 9 的原因是我们处于一个随机的世界。即使策略告诉我们向下并且我们遵循该策略,我们最终在 s = 8 中的概率仍然为 0.1,而在 s = 10 中的概率为 0.1。

策略的执行

现在我们至少有一个策略,尽管它可能看起来不是很好。让我们看看如果我们执行它会发生什么。

class GridWorld:
def execute_policy(self, policy, start_pos=(2, 0)):
  s = self.get_state_from_pos(start_pos)
  total_reward = 0
  state_history = [s]
  while True:
    temp = self.transition_model[s, policy[s]]
    s_prime = np.random.choice(self.num_states, p=temp)
    state_history.append(s_prime)
    r = self.reward_function[s_prime]
    total_reward += r
    s = s_prime
    if r == 1 or r == -1:
      break
  return total_reward

如果我们当前处于状态 s,则我们的策略 a = π(s)。由于我们的世界是随机的,我们使用 numpy.random.choice 根据 P(s'| s, π(s)) 给出的概率分布来选择 s'。

因为这个过程是随机的,不同的运行可能会有不同的结果。让我们尝试一下。

310ecf16b34523f42697820c56596ee4.png

这个特定运行的状态历史是 [8, 9, 9, 9, 9, 10, 10, 6, 10, 11, 7]。我们从 8 开始,以 0.8 的概率进入 9;然后我们尝试下降 3 次,然后弹回 9;然后以 0.1 的概率,我们移动到 10,然后是 11,最后不幸的是 7。沿着这条路径我们使用 10 移动。我们收到的总奖励是 -0.04 *10 加 -1 等于 -1.4 。

这只是一次运行,我们可能在这一次运行中不走运。让我们使用蒙特卡罗方法来评估该策略的好坏。对于这个例子,让我们重复执行 10,000 次并记录我们在每次运行中获得的总奖励。

6273153d816f8c43fde93f55c6cd3ce3.png

在这 10,000 次重复运行中,我们得到的最高总奖励为 -1.16,最低为 -8.5 左右。平均 -1.7。显然这不是很好。让我们看看一些其他策略。

更多策略

这是我们的随机策略 #2 的结果。

5b6bdde882bac9c9814b82bfacc5901f.png

最高的是 0.8,这实际上是我们所能得到的。平均值为 -1.2,优于之前的随机策略 #1。但是最低的是 -55,这比随机策略 #1 的 -8.5 差得多。

让我们尝试另一个。

57bb9d86c0278c6fe2e7693b36bb2b94.png

这个好像还不错。最高为0.8,最低为-1.64,平均为0.7。总的来说,似乎比前两个好很多。

如何找到最优策略?

回顾我们的三个随机策略,我们可以说#3 似乎是最好的一个。还有另一个更好的吗?如果是这样,我们如何找到它?

显然,我们有有限数量的可能策略。在我们的示例中,有 9 个状态需要指定的操作并且每个状态有 4 个可能的操作。,总共有 4⁹ 项政策。如果我们重复执行多次,这些策略中的每一个都有一定的预期总回报。因此,其中一个(或多个,如果有联系)将比其他人具有更高的预期总回报。因此,这种策略是最佳策略 π*。

要找到最佳策略,一种天真的方法是尝试所有 4⁹ 策略并找到最佳策略。显然,这根本不实用。在实践中,我们有两种方法:策略迭代和值迭代。我们将在以后的文张中讨论这两种方法。敬请关注!

本文代码:

https://github.com/clumsyhandyman/mad-from-scratch

编辑:于腾凯

觉得还不错就给我一个小小的鼓励吧!
马尔科夫决策模型 阅读详情

相关推荐

马尔可夫决策过程

马尔可夫决策过程是强化学习中的一个核心概念,它提供了一种数学模型来描述决策者在不确定环境中进行决策的过程。本文详细介绍了马尔可夫决策过程的基本概念、性质、求解方法,并通过Python代码和LaTeX公式进行了深入解析。马尔可夫决策过程在许多实际应用中都有着广泛的应用,例如资源分配、生产调度、金融投资、机器人控制等。需要注意的是,马尔可夫决策过程的求解通常需要完全了解状态转移概率和奖励函数,这在实际应用中可能是困难的。

weixin_37410657的博客 1495

马尔科夫决策

马尔可夫决策

qq_42981705的博客 1779

半马尔科夫决策过程

什么是半马尔科夫决策过程?

fangchenglia的博客 7759

强化学习 1 —— 一文读懂马尔科夫决策过程(MDP)

强化学习 — 马尔科夫决策过程(MDP) 一、马尔科夫过程(Markov Process) 马尔科夫性某一状态信息包含了所有相关的历史,只要当前状态可知,所有的历史信息都不再需要,当前状态就可以决定未来,则认为该状态具有马尔科夫性 P(St+1∣St)=p(St+1∣S1,S2,⋯ ,St) P(S_{t+1}|S_t) = p(S_{t+1}|S_1, S_2, \cdots , S_t) P(St+1​∣St​)=p(St+1​∣S1​,S2​,⋯,St​) 马尔科夫过程又叫做马尔科夫链(Markov

靡不有初鲜克有终 8万+

强化学习系列(三):马尔科夫决策过程

一、前言 第二章中我们提到了多臂老虎机问题,该问题只有一个state,需要选择一个action,不需要考虑在不同state下选择action的问题——(associative problem),即不需要考虑状态间的转移,以及action对一系列state的影响。但是在第一章强化学习简介中,我们提到强化学习过程可以看做一系列的state、reward、action的组合。本章我们将要介绍马尔科夫决...

LagrangeSK的博客 9417

2. 强化学习之——马尔科夫决策过程

目录 马尔科夫链 马尔科夫奖励过程 马尔科夫决策过程 马尔科夫决策过程中的策略估计 马尔科夫决策过程中的控制 策略迭代 值迭代 马尔科夫链 马尔科夫性:未来的转移跟过去是独立的,它只取决于现在 状态转移矩阵:(每一个元素都是一个概率分布) 马尔科夫链的举例:当从状态 S3 开始时,可以对链进行采样,得到很多串轨迹(下面3串只是作为举例) 马尔科夫奖励过程(MRP) 马尔科夫奖励过程 = 马尔科夫链+ 奖励 奖励其实是一个期望(当你到某一个状态时可以获得多大的奖励.

June 3805

运筹优化学习18:马尔科夫决策过程与动态规划 (手算及Matlab源码剖析)

基本概念与理论,值迭代与策略迭代

m1m2m3mmm的博客 1万+

马尔科夫决策过程知识详解1

本节介绍了深入浅出强化学习原理入门一书的马尔科夫决策过程一节。主要目的是整理其中知识点,以便日后复习所用。(侵删) 马尔科夫决策过程是一套可以解决大部分强化学习问题的框架,简称MDP。按照顺序分别介绍马尔科夫性,马尔科夫过程,以及马尔科夫决策过程。 一 马尔科夫性 马尔科夫性指的是系统的下一个状态S(t+1)仅与当前状态S(t)有关,与以前的状态无关。公式如下: ...

libing101007的博客 2268

马尔科夫过程,马尔科夫奖励过程和马尔科夫决策过程

马尔科夫决策过程是强化学习中的一个基本框架,用来表示agent与环境的交互过程:agent观测得到环境的当前状态之后,采取动作,环境进入下一个状态,agent又得到下一个环境状态的信息,形成一个循环回路。 在理解马尔科夫决策过程之前,首先要理解马尔科夫、马尔科夫奖励过程。 1. 马尔科夫过程 满足马尔科夫性质的状态转换过程是马尔科夫过程; 什么是马尔科夫性质呢? 在环境状态的转换过程中,环境的下一个状态只取决于当前状态,和历史状态无关,即满足马尔科夫性质。 2. 马尔科夫奖励过程 (1)马尔科夫链可以通.

lxh_____的博客 2630

【十六】马尔科夫决策过程

介绍了《机器学习》第十六讲的内容,包括了马尔科夫决策过程MDP,以及解决MDP常用的值迭代Value Iteration和政策迭代Policy Iteration过程,以及解决概率估计和迭代过程的方法。

禛的专栏 4482

马尔科夫决策过程(Markov decision process, MDP)和马尔科夫奖励过程(Markov Reward Process)

在强化学习中,马尔科夫决策过程(Markov decision process, MDP)是对完全可观测的环境进行描述的,也就是说观测到的状态内容完整地决定了决策的需要的特征。几乎所有的强化学习问题都可以转化为MDP。本讲是理解强化学习问题的理论基础。 马尔科夫过程 Markov Process 1 马尔科夫性(Markov Property) 某一状态信息包含了所有相关的历史,只要当前状态可知,所有的历史信息都不再需要,当前状态就可以决定未来,则认为该状态具有马尔科夫性。 可以用下面的状态转移概率公式

仅仅用于个人记录,侵删 3354

马尔科夫决策过程基本概念

马尔可夫决策过程(Markov decision process, MDP)是人工智能中的一个重要概念,也是强化学习的理论基础之一。在今天的文章中,我们使用来自Stuart Russell和Peter Norvig的《Artificial Intelligence: A Modern Approach》一书中的网格例子来介绍MDP的基本概念。 我们的吃豆人游戏 这里我们有一个 4×3 的网格世界,有一个机器人从左下角开始并在这个 2D 世界中移动来玩游戏。 世界示例 我们的机器人可以向四个方向移动:上、下

deephub 1万+

深度强化学习(一) 强化学习基本概念(马尔科夫决策过程)

最近需要做深度强化学习方面的内容,所以对这部分内容进行一下记录。 以下是参考的资料: 强化学习入门 量子位公众号对一篇博客的翻译,强化学习入门很不错。 Deep Reinforcement Learning: An Overview 一篇关于深度强化学习的综述文章,机器之心公众号有对其的翻译,可以看一下。 知乎--强化学习怎么入门好? 知乎上有详细的专栏介绍。 OpenAI 深度强...

daydayjump的博客 3392

马尔科夫决策过程

文章目录1、马尔科夫过程(Markov Process)1)随机过程(Stochastic Process)2)马尔科夫性质(Markov Property)3)马尔科夫过程(Markov Process)或被称为马尔科夫链(Markov Chain)2、马尔科夫奖励过程(Markov Reward Process)1)回报(Return)2)价值函数(Value Function)3、马尔科夫决策过程(Markov Decision Process)1)策略(Policy)2)状态价值函数(State-v

lesileqin的博客 1581

马尔科夫决策过程原理和求解(MDP之一)

在学习强化学习之前,首先介绍一个概念叫马尔科夫决策过英文全称为Markov decision process(MDP)。理解该概念对于强化学习的理解具有重要帮助。好了,下面开始。 一、Markov decision process 马尔科夫决策过英文全称为Markov decision process(MDP)它是指在fully observable、stochastic environment 环境下的序列决策(sequential decision)问题,其中涉及Marko...

weixin_53146190的博客 4564

matlab电偶极子源码,电偶极子的MATLAB场模拟

电偶极子周围电场电势分布的MATLAB三维模拟Matlab可以用于模拟四维场的效果,本文以电偶极子的电场和电势场为例展示MATLAB在该方面领域的应用。摘要电偶极子由一个正电荷和一个负电荷组成,其电场和空间电势分布与单电荷相比具有一些重要的特性。本文将给出电场和电势场的近似表达式。这两个量的精确表达式是复杂的,不太常用,因此 MATLAB 被采用来操作精确值和绘制三维分布的远区域, 近区域和一侧区...

weixin_35135480的博客 3153
上一篇: 再见 Postman,我选择 ApiPost !
下一篇: 难以置信!一篇文章就梳理清楚了 OpenCV 的知识体系
Wang_AI
博客等级 码龄12年 997粉丝 162原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值