GFlowNet Foundation 笔记（一）

马尔可夫流量的测量

轨迹( trajectories )和流量( flows )

Def 1. 一个有向图用 $(\mathcal{S},\mathbb{A})$ 表示，其中 $\mathcal{S}$ 为状态的集合， $\mathbb{A}$ 为 $\mathcal{S}\times \mathcal{S}$ 大小的有向边的子集。 $\mathbb{A}$ 中的元素表示为 $s\to s^{\prime }$ ，叫做 边缘( edges ) 或 转移( transitions ) 。
图中的 轨迹( trajectory ) 为序列 $\tau =(s_1,\dots ,s_n)$ ，每个转移 $s_t\to s_{t+1}\in \mathbb{A}$ 。$s\in \tau$ 表示 $s$ 在轨迹 $\tau$ 中。
有向非循环图( directed acyclic graph, DAG ) 为对于所有轨迹 $\tau =(s_1,\dots ,s_n)$ 都不满足 $s_n=s_1$ 的有向图，只含有一个状态的轨迹除外。

Def 2. 对于 DAG ，定义 partial order 用 $<$ 表示。 $s<s^{\prime }$ 表示存在从 $s$ 开始并结束于 $s^{\prime }$ 的轨迹。如果 $s$ 和 $s^{\prime }$ 之间没有轨迹，记为 $s\lessgtr s^{\prime }$ 。作者允许两状态之间最多有一条有向边连接。

Def 3. 本文仅考虑能定义两种特殊状态 源状态( source state or initial state ) $s_0$ 和 汇状态( sink state or final state ) $s_f$ 的 DAG ，即 $\forall s,s_0<s,s<s_f$ 。定义从 $s_0$ 开始 $s_f$ 结束的轨迹为 完整轨迹( complete trajectory ) 。定义 $\mathcal{T}$ 表示所给 DAG 中所有完整轨迹的集合。

Def 4. 称 $s\to s_f$ 为 终止转移( terminating transition ) ，称 $F(s\to s_f)$ 为 终止流量( terminating flow ) ，通过边缘 $s\to s’$ 的流量被称为 边缘流量( edge flow ) 。在轨迹 $(s_0,s_1,\dots ,s_n,s_f)$ 中， $s_n$ 被称为 终止状态( terminating state ) 。

Def 5. 定义 轨迹流量( trajectory flow ) $F:\mathcal{T}\mapsto {\mathbb{R}}^{+}$ 为在完整轨迹集 $\mathcal{T}$ 上的任意非负函数。

Def 6. 状态流量( flow through a state or state flow) $F:\mathcal{S}\mapsto \mathbb{R}$ 为通过某一状态的完整轨迹的流量总和
$$F(s)=\sum _{s\in \tau ,\tau \in \mathcal{T}}F(\tau )$$

Def 7. 定义子集 $A\subseteq \mathcal{T}$ 为事件，它的流量为事件中完整轨迹的流量之和
$$F(A)=\sum _{\tau \in A}F(\tau )$$

Def 8. 定义 联合事件 Ａ 和 B 的流量为两事件交集的流量，即
$$F(A\cap B)=\sum _{\tau \in A\cap B}F(\tau )$$

流量的概率度量

Def 9. 总流量( total flow ) $Z$ 为所有完整轨迹的流量之和
$$Z:=\sum _{\tau \in \mathcal{T}}F(\tau )$$

Prop 1. 源节点的流量等于汇节点的流量等于总流量。
Proof. $\forall \tau \in \mathcal{T},s_0\in \tau ，s_f\in \tau$
$$\begin{gathered} F(s_0)=\sum _{s_0\in \tau ,\tau \in \mathcal{T}}F(\tau )=\sum _{\tau \in \mathcal{T}}F(\tau )=Z \\ F(s_f)=\sum _{s_f\in \tau ,\tau \in \mathcal{T}}F(\tau )=\sum _{\tau \in \mathcal{T}}F(\tau )=Z \end{gathered}$$

Def 10. 将轨迹流量 $F$ 与概率度量 $P$ 相关联
$$P(\tau )=\frac{F(\tau )}{{\sum }_{\tau \in \mathcal{T}}F(\tau )}=\frac{F(\tau )}{Z}$$

Def 11. 对于任意事件 $A\subseteq \mathcal{T}$ ，定义这个事件的概率为
$$P(A)=\frac{F(A)}{Z}$$

Prop 2. 轨迹穿过源状态 $s_0$ 的概率为 1 。
Proof.
$$P(s_0)=\frac{F(s_0)}{Z}=\frac{Z}{Z}=1$$

Def 12. 给定事件 B 时事件 A 的条件概率 为
$$P(A|B)=\frac{P(A,B)}{P(B)}=\frac{F(A\cap B)}{F(B)}$$

Def 13. 定义前向转移概率，表示为
$$P_F(s^{\prime }|s)=P(s\to s^{\prime }|s)=\frac{F(s\to s^{\prime })}{F(s)}$$

定义后向转移概率，表示为
$$P_B(s|s^{\prime }):=P(s\to s^{\prime }|s^{\prime })=\frac{F(s\to s^{\prime })}{F(s^{\prime })}$$

马尔可夫流量( markovian flows)

Def 14. 有着概率度量 $P$ 的流量称为马尔可夫流量。对于具有出边 $s\to s^{\prime }$ 的状态 $s$ ，任意以 $s$ 结束的轨迹 $\tau =(s_1,\dots ,s)$ ，有
$$P(s\to s^{\prime }|\tau )=P(s\to s^{\prime }|s)=P_F(s^{\prime }|s)$$

Prop 3. 对于马尔可夫流量以及一个完整轨迹 $\tau =(s_0,s_1,\dots ,s_n),s_n=s_f$ ，可得
$$\begin{gathered} P(\tau )=\prod _{t=1}^n{P}_F(s_t|s_{t-1}) \\ F(\tau )=Z\prod _{t=1}^n{P}_F(s_t|s_{t-1})=\frac{{\prod }_{t=1}^{n}F(s_{t-1}\to s_t)}{{\prod }_{t=1}^{n-1}F(s_t)} \\ F(\tau )=Z\prod _{t=1}^n{P}_B(s_{t-1}|s_t) \\ P(\tau )=\prod _{t=1}^n{P}_B(s_{t-1}|s_t) \end{gathered}$$

Proof. 对于式一
$$\begin{array}{rl}P(\tau )& =P(s_0\to s_1\to \cdots \to s_n)\\ & =P(s_0\to s_1)\prod _{t=1}^{n-1}P(s_t\to s_{t+1}|s_0\to \cdots \to s_t)\\ & =P(s_0\to s_1)\prod _{t=1}^{n-1}P(s_t\to s_{t+1}|s_t)\\ & =P(s_0)P_F(s_1|s_0)\prod _{t=1}^{n-1}{P}_F(s_{t+1}|s_t)\\ & =\prod _{t=1}^n{P}_F(s_t|s_{t-1})\end{array}$$

对于式二
$$\begin{array}{rl}F(\tau )& =ZP(\tau )\\ & =F(s_0)\prod _{t=1}^n{P}_F(s_t|s_{t-1})\\ & =F(s_0)\prod _{t=1}^n\frac{F(s_{t-1}\to s_t)}{F(s_{t-1})}\\ & =\frac{{\prod }_{t=1}^{n}F(s_{t-1}\to s_t)}{{\prod }_{t=1}^{n-1}F(s_t)}\end{array}$$

对于式三、四
$$\begin{array}{rl}F(\tau )& =\frac{{\prod }_{t=1}^{n}F(s_{t-1}\to s_t)}{{\prod }_{t=1}^{n-1}F(s_t)}\\ & =F(s_f)\prod _{t=1}^n\frac{F(s_{t-1}\to s_t)}{F(s_t)}\\ & =Z\prod _{t=1}^n{P}_B(s_{t-1}|s_t)\\ & =ZP(\tau )\end{array}$$

Corollary 1. 马尔可夫流量取决于总流量和前向转移概率 $P_F(s_t|s_{t-1})$ 的结合，或者总流量和反向转移概率 $P_B(s_{t-1}|s_t)$ 的结合，或者终止流量 $F(s\to s_f)$ 和反向转移概率 $P_B(s_{t-1} | s_t) 的结合。

Corollary 2. 对于任意（完整或非完整）轨迹 $\tau =(s_1,\dots ,s_n)$ ，满足
$$F(\tau )=F(s_1)\prod _{t=1}^{n-1}{P}_F(s_{t+1}|s_t)$$

流量匹配条件

Def 15. 状态 $s$ 的 父节点集( parent set ) 表示为 P a r ( s ) = { s ′ ∈ S : s ′ → s ∈ A } Par(s) = \{ s' \in \mathcal{S}: s' \rightarrow s \in \mathbb{A} \} Par(s)={s′∈S:s′→s∈A} ，子节点集( child set ) 表示为 C h i l d ( s ) = { s ′ ∈ S : s → s ′ ∈ A } Child(s) = \{ s' \in \mathcal{S}: s \rightarrow s' \in \mathbb{A} \} Child(s)={s′∈S:s→s′∈A} 。

Prop 4. 考虑一个非负函数 $\hat{F}$ ，输入为状态 $s$ 或转移 $s\to s’$ ，前向转移概率被估计为
$${\hat{P}}_F(s_{t+1}|s_t)=\hat{P}(s_t\to s_{t+1}|s_t)=\frac{\hat{F}(s_t\to s_{t+1})}{\hat{F}(s_t)}$$

反向转移概率被估计为
$${\hat{P}}_B(s_t|s_{t+1})=\hat{P}(s_t\to s_{t+1}|s_{t+1})=\frac{\hat{F}(s_t\to s_{t+1})}{\hat{F}(s_{t+1})}$$

$\hat{F}$ 对应的流量必须满足传入和传出任意非源非汇状态的流量相匹配
$$\forall s_0<s^{\prime }<s_f,\hat{F}(s^{\prime })=\sum _{s\in Par(s^{\prime })}\hat{F}(s\to s^{\prime })=\sum _{s^{\prime \prime }\in Child(s^{\prime })}\hat{F}(s^{\prime }\to s^{\prime \prime })$$

马尔可夫流 $F$ 在状态和转移上与 $\hat{F}$ 相匹配，使得
$$F(\tau )=\frac{{\prod }_{t=1}^n\hat{F}(s_{t-1}\to s_t)}{{\prod }_{t=1}^{n-1}\hat{F}(s_t)}$$

Prop 5. 对于 $\tau =(s_{t_1},\dots ,s_{t_2})$
$$\hat{P}(\tau )=\hat{P}(s_{t_1})\prod _{t=t_1}^{t_2-1}{\hat{P}}_F(s_{t+1}|s_t)=\hat{P}(s_{t_2})\prod _{t=t1}^{t_2-1}{\hat{P}}_B(s_t|s_{t+1})$$

Def 16. 如果存在一个边缘流量函数 $\hat{F}:\mathbb{A}\to [0,\infty )$
$$\begin{gathered} {\hat{P}}_F(s^{\prime }|s)=\frac{\hat{F}(s\to s^{\prime })}{{\sum }_{s^{\prime }\in Child(s)}\hat{F}(s\to s^{\prime })} \\ {\hat{P}}_B(s^{\prime }|s)=\frac{\hat{F}(s\to s^{\prime })}{{\sum }_{s\in Par(s^{\prime })}\hat{F}(s\to s^{\prime })} \end{gathered}$$

Def 17. detailed balance 定义如下
$$\forall s\to s^{\prime }\in \mathbb{A}\hat{F}(s){\hat{P}}_F(s^{\prime }|s)=\hat{F}(s^{\prime }){\hat{P}}_B(s|s^{\prime })$$

Prop 6. 只有当 detailed balance 满足时， $\hat{F}$ ， ${\hat{P}}_B$ 和 ${\hat{P}}_F$ 才能互相对应。