11、机器学习中可微多项式电路的类别

机器学习中可微多项式电路的类别

1. 笛卡尔左加法范畴与相关概念

在研究中，我们先定义一些基础概念。若$f : w → v$，$g: v → u$，$h: w′ → v′$是$\Sigma$-项，那么$f g: w → u$和$f ⊗ h: ww′ → vv′$同样是$\Sigma$-项，并且能用字符串图来表示。

接着，我们固定对象集合$Obj$、签名$\Sigma$以及$\Sigma$-项之间的方程集合$E$。由$(Obj, \Sigma, E)$自由生成的笛卡尔左加法范畴$C$，是一个幺半范畴。其对象集合为$Obj ⋆$，态射是$\Sigma$-项在笛卡尔左加法范畴公理和$E$中的方程下的商。在$C$里，幺半积在对象上通过单词连接给出。态射的恒等态、幺半积和顺序复合由相应的$\Sigma$-项及其构造函数$f ⊗ h$和$f g$给出。可以很容易看出，这样定义的$C$确实是笛卡尔左加法的，我们称$C$由生成元$(Obj, \Sigma)$和方程$E$表示。

2. 反向导数与代数表示

为了实现功能完备性，我们需要在多项式电路的代数表示中添加额外的运算。下面的定理能帮助我们理解如何定义与表示范畴的生成元和方程兼容的反向微分组合子。
- 定理 2 ：设$C$是由生成元$(Obj, \Sigma)$和方程$E$表示的笛卡尔左加法范畴。若对于每个$s ∈ \Sigma$，存在关于$E$定义良好（见备注 3）且满足公理$ARD.1 - 4$的$R[s]$，那么$C$是一个反向导数范畴。
- 证明 ：公理$ARD.1$确定了$R$在复合、张量积以及笛卡尔和左加法结构上的定