UE4引擎技术分享

StableDiffusion是基于扩散模型的应用，那就先来讲一讲什么是扩散模型。我们知道在扩散模型出现之前，比较火的是GAN（对抗生成网络），GAN由生成器和判别器组成，两者相互博弈训练，最终产生较理想的输出。但是GAN也有缺点，首先生成器和判别器不断进化的中间N个步骤完全是黑盒，无法调试。其次还有难以训练、模式坍缩等许多问题。Diffusion模型并非新技术，而是更像是在另一个技术方向上的不断前进，相比GAN，Diffusion好比将生成的每一个步骤都进行反复训练。

在AI内容生成领域，有四种常见的AI模型技术：GAN、VAE、Flow、Diffusion。其中，Diffusion是较新的技术，相关资料较为稀缺。VAE通常更多用于压缩任务，而GAN由于其问世较早，相关的开源项目和科普文章也更加全面，适合入门学习。

对信息熵、KL散度、交叉熵等进行学习的简单笔记

本文根据西瓜书第五章中给出的公式编写，书中给出了全连接神经网络的实现逻辑，本文在此基础上编写了Mnist10手写10个数字的案例，网上也有一些其他手搓的例子参考。demo并没有用UE而是使用unity进行编写，方便且易于查错。

本文结合对ChatGTP的提问，用自己的理解讲一讲最小二乘法。