- 博客(7)
- 收藏
- 关注
RSS订阅原创 跟李沐写LSTM（详细注释）
LSTM（Long Short-Term Memory）是一种特殊的循环神经网络（RNN），它能够学习长期依赖关系。LSTM由Hochreiter和Schmidhuber在1997年提出，旨在解决传统RNN在处理长序列数据时遇到的梯度消失或梯度爆炸问题。
2024-04-10 20:38:16
323
原创 跟李沐搓一个RNN
本文基于《动手学深度学习》一书中的内容，实现了一个基于循环神经网络（RNN）的语言序列模型。我们根据书中介绍的方法，定义了一个简单的循环神经网络模型 RNNScratch 和一个基于该模型的语言模型 RNNLMScratch。我们使用了 PyTorch 框架来实现模型，并且在训练过程中使用了梯度剪裁来防止梯度爆炸的问题。
2024-04-06 00:23:02
252
原创 深度学习笔记（三）：循环神经网络（RNN）
在RNN中，独热编码通常用于处理输入数据中的离散特征，如单词、字符或其他类别标签。这样，每个时间步的输入都是一个独热编码的向量，它表示当前单词或字符的类别。独热编码是一种表示方法，其中每个类别都有一个唯一的二进制向量，该向量的长度等于类别的总数。例如，如果我们有一个三个类别的分类问题，那么每个类别的标签都可以用一个三维的独热编码向量表示。对于序列中的每个时间步长，RNN接收两个输入：当前时间步的输入数据和前一个时间步的隐藏状态。新计算出的候选隐藏状态将替代旧的隐藏状态，成为下一个时间步的“记忆”。
2024-04-05 00:03:11
402
原创 深度学习笔记（二）：方差和偏差
在深度学习中，偏差（Bias）和方差（Variance）是评估模型泛化能力的重要概念。它们描述了模型在训练集和新数据上的表现差异，对于理解和改进模型的性能至关重要。
2024-04-04 23:36:20
500
原创 深度学习笔记（一）:引言
神经网络通过从大量数据中学习模式和规律，展现出解决复杂问题的潜力。在监督学习中，神经网络通过自动学习特征表示，广泛应用于回归、分类、序列预测等任务。它们能够处理结构化数据和非结构化数据，后者尽管难以学习，但深度学习已证明能有效理解。神经网络的核心包括数据、计算和算法。数据是训练的基础，计算涉及复杂的数学运算，而算法决定了学习过程的效率。
2024-04-03 22:42:05
462
原创 ABC270 TOYOTA MOTOR CORPORATION Programming Contest 2022(AtCoder Beginner Contest 270) 题解
ABC 270题解
2022-10-01 11:07:39
846
2
原创 NEC Programming Contest 2021(AtCoder Beginner Contest 229)ABC229题解
A - First Grid题意：2*2的矩阵中黑色块为'#'，白色块为‘.’，判断矩阵中的黑色块是否连通？分析：反向思考，不连通的情况只有两种。#include<bits/stdc++.h>using namespace std;string s1,s2;int main(){ cin >> s1 >> s2; if((s1=="#."&&s2==".#")||(s2=="#."&&s1==".#")) pu
2021-11-28 14:57:26
1150
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人