- 博客(10)
- 收藏
- 关注
RSS订阅原创 BPTT（Backpropagation Through Time）算法
BPTT是一种用于递归神经网络（RNN）的训练算法，它通过将 RNN 在时间轴上展开，然后使用反向传播算法更新模型权重。尽管 BPTT 能够有效处理时间序列数据中的依赖性问题，但其计算复杂度较高，并且面临梯度消失和梯度爆炸问题。因此，BPTT 常结合 LSTM、GRU 和截断策略来提高训练效率和稳定性。
2024-09-14 13:08:59
1329
2
原创 利用傅里叶变换实现时序数据的解耦
为了更详细地说明如何利用傅里叶变换来解耦时序数据，我们可以通过一个具体的例子来解释整个过程，包括如何提取趋势、周期性成分和噪声。假设我们有一组时序数据，表示某个地区的每日温度变化。在进行傅里叶变换之前，需要对数据进行一些预处理工作。例如，去除数据中的长期趋势成分。可以使用移动平均或多项式拟合等方法来去除趋势。对去除趋势后的数据进行傅里叶变换，将时间域的数据转换到频域。傅里叶变换会将数据分解成不同频率的正弦波和余弦波的叠加，每个频率成分都有一个对应的振幅和相位。在频域图中，选择那些对应显著周期性的频率成分。
2024-07-29 17:04:22
2504
3
原创 深度学习笔记(参数优化，loss)
Step 1: 定义包含未知参数的模型函数。Step 2: 从训练数据中定义损失函数来衡量模型性能。Step 3: 通过优化算法调整模型参数以最小化损失函数。这三个步骤是机器学习模型训练的基础，通过反复迭代执行这些步骤，模型能够从数据中学习并改善其预测能力。
2024-07-20 16:13:15
874
原创 DDPM扩散概率模型数学原理推导
DDPM正向过程定义前向过程被定义为一个从初始数据 x0x_0x0开始的马尔可夫链。而他的目标是要由x0x_0x0的分布去推x1:Tx_{1:T}x1:T联合概率密度的分布，由马尔可夫链定义，即：马尔可夫定理是指一个随机过程的未来状态仅依赖于当前状态，而与过去的状态无关。比如xtx_txt只由xt−1x_{t-1}xt−1的状态决定，与xt−1x_{t-1}xt−1之前的状态无关q(x1:T∣x0)=∏t=1Tq(xt∣xt−1)q(x_{1:T} | x_0) = \prod_{t=1}
2024-07-03 10:58:34
1835
原创 DIFFUSION（扩散模型基石—DDPM）
扩散模型（Diffusion Model）是一类十分先进的基于扩散思想的深度学习生成模型。生成模型除了扩散模型之外，还有出现较早的VAE（Varitational Auto-Encoder，变分自编码器）和GAN（Generative Adversarial Net， 生成对抗网络）等，他运用物理热力学中的扩散思想，主要包括前向扩散和反向扩散两个过程。
2024-06-26 15:14:56
2497
原创 张量计算过程中的广播机制
通过广播机制，我们确保在操作的每个维度上，要么两个张量的维度相等，要么其中一个为 1。如果不满足这个条件，则无法进行广播。因此，为了使 𝐵B 能够与 𝐴A 进行逐元素运算，我们需要将 𝐵B 调整为 (1,2,1)(1,2,1)，然后再进行广播。其他的调整方式（如 (1,1,2)(1,1,2) 或 (2,1,1)(2,1,1)）在这个例子中不满足广播机制的规则，因而不可行。那为什么B的形状不调整为（1,1,2）或者（2,1,1）？
2024-06-16 17:11:05
252
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人