6、机器学习中的概率与微积分应用

机器学习中的概率与微积分应用

1. 概率思维

1.1 不确定性推理

现代人工智能更倾向于采用概率方法而非基于逻辑的方法。早期研究者认为找到足够多的正式规则就能创造人工智能，但基于逻辑的系统在处理复杂问题时会呈指数级增长，且难以适应混沌系统。而现代方法成功的原因在于接受不确定性。

在现实中，“完美信息”的场景很难实现。以设计硬币分类机为例，即便假设机器只处理四种美国硬币，仍会面临诸多不确定性：
- 可能会遇到半美元、金币或非美国硬币。
- 硬币可能有损坏、粘连，或者美国铸币厂可能会错误铸造。
- 按大小分类的方法可能并不完美。

在机器学习中，不确定性主要有三个来源：
1. 固有随机性 ：某些问题本身就具有随机性，结果不是确定的。
2. 不完全可观测性 ：无法获取决定系统行为的所有变量。
3. 不完全建模 ：有些模型会故意丢弃信息，如对图像进行下采样。

在数学和机器学习中，概率是对不确定性的量化。从频率主义的角度来看，概率表示事件在长期重复试验中的频率。例如，通过以下代码模拟随机事件：

simulation = fn key ->
  {value, key} = Nx.Random.uniform(key)
  if Nx.to_number(value) < 0.5, do: {0, key}, else: {1, key}
end

key = Nx.Random.key