20、人工智能中的RBM、GAN、LFCF及LLM、GPT技术解析

人工智能中的RBM、GAN、LFCF及LLM、GPT技术解析

1. RBM、GAN与LFCF技术介绍

1.1 受限玻尔兹曼机（RBM）

RBM常用于自监督学习，它能对未知输入分布进行建模。其工作流程如下：
1. 初始阶段对未知输入分布进行建模。
2. 可将多个RBM堆叠在前馈网络中，像深度信念网络（DBN）那样进行生成式学习。
3. 作为预处理器，用于卷积神经网络（CNN）、循环神经网络（RNN）或生成对抗网络（GANs）。具体操作是用其隐藏层分布替代输入层，再将最终重建的输入层输送到前馈人工神经网络的输入层，使人工神经网络在确定输入数据分布时获得生成式学习的先发优势。

RBM在语音识别中，与RNN结合作为CNN的预处理器发挥了作用。不过，它最著名的应用是在协同过滤中的潜在因子（LFCF）分析方面。

线性回归和RBM能揭示输入数据中的明显特征和相关性，但数据中可能隐藏着更深层次的潜在推断。例如，斯坦福大学的并行VLSI架构小组运用机器学习分析人工智能神经网络的隐藏层，以从数据中心进行“推断之推断”，即通过深入挖掘网络揭示和推断的内容，以及隐藏神经元层中神经元激活水平所推断出的数据中的潜在推断。

以在线电影网站为例，当RBM处理18 - 29岁用户对电影的点赞、评分、分享和同行评价等数百万数据点时，隐藏层特征神经元可能会显示出交叉相关性，揭示出如救赎主题等潜在因子推断，而观众自己可能并未意识到这种偏好。Netflix会根据这种隐藏的救赎推断，为用户推荐具有救赎主题的“你可能也喜欢”的电影。在自然语言处理中，RBM类似于深度信念网络（DBN），通过对概率进行处理，从重建的概率中揭示语音中的潜在因子，有助于识别单