- 博客(11)
- 收藏
- 关注
RSS订阅原创 深度学习框架 05--神经网络库抽象
重新来看上面的编程抽象：caffe1.0将梯度计算与模块组合结合。两层抽象： 张量上的计算图抽象，处理自动微分 ， 高层次抽象以处理模块化组合。
2025-05-13 00:15:30
620
原创 深度学习框架04--全连接神经网络优化方法
梯度的规模在不同的参数上可能存在很大的变化，特别是在深度网络的不同层、不同层类型等方面。可能你认为网络参数会收敛到某个相同的区域，而不管初始化为啥参数都一样，但这并不正确，权重通常更倾向于保持接近它们的初始化值，而不是在不同优化结束后接近最终点。便引出了随机梯度下降法，与采取少量昂贵、无噪声的步骤不同，我们采取许多廉价、有噪声的步骤，从而在每次计算中获得更强大的性能。Adam是不是一个好的梯度更新方法在深度学习中经常被讨论，但是它在实际工程中表现非常好。如果我们使用非线性的 RELU 激活函数，那么。
2025-05-13 00:14:24
345
原创 矩阵形式的FFT算法理解(Cooley-Tukey)
长度为N的原始输入序列组成的向量为x\boldsymbol xx，经过傅里叶变换后的序列组成的向量为X\boldsymbol XX，则有：X[k]=∑n=0Ne−2πinkNx[n]\boldsymbol X[k]=\sum_{n=0}^{N}e^{\frac{-2\pi ink}{N}}\boldsymbol x[n]X[k]=n=0∑NeN−2πinkx[n]将原始输入序列x\boldsymbol xx划分为N1N_1N1个长度为N2=N/N1N_2=N/N_1N2=N/N1的子序列(将
2025-05-12 09:03:44
1220
原创 深度学习框架03--自动微分算法和实现
为什么需要进行reduce操作，因为广播操作本质上是对数据进行了复制，因此在计算某个变量的梯度时，在其前向传播过程中就相当于多了对应于该变量的因变量（但是数据相同），因此需要进行reduce操作。任意方向的方向导数是梯度和单位方向向量的点积，这里采用梯度计算任意方向的方向导数，和数值定义计算的方向导数比较，看两者是否相等，相等则说明梯度正确。反向传播计算和自动反向微分的区别在于，反向传播计算根据前向计算图一步步逆向计算，计算过程中不产生新节点，而自动反向微分会加入新的节点扩充前向计算图。
2025-05-12 09:02:54
1153
原创 深度学习框架02--神经网络算法和实现
但是不是所有的分类问题都可以用线性区域划分清楚，例如下面图中左图图的情况，必须寻找非线性的划分方案。以上的关于神经网络的讨论只提到了机器学习三要素中的一个，我们还需要使用损失函数和优化方法，即交叉熵损失和随机梯度下降算法应用到神经网络。上面的矩阵乘称为”vector Jacobian product“，将反向过程的梯度和自身的导数相乘，这一点可用在计算图中，是自动微分的基础。通过人工寻找数据特点，构造针对特定问题的特征提取函数，传统的机器学习采用的是这种方式。2 $，然后再用一维的线性假设模型进行分类。
2025-05-12 09:01:06
742
原创 深度学习框架01--深度学习入门softmax回归原理及其实现
迭代直到误差收敛，迭代下面步骤：在小批量上进行迭代X∈RB×ny∈1kBX∈RB×ny∈1...kB更新参数θθ−αBXTZ−Iyθ:=θ−BαXTZ−Iy此方法在 MNIST 上的误差为 8%。
2025-05-12 08:58:59
995
原创 ucore学习笔记：makefile解析
第一个文件：MakefilePROJ := challengeEMPTY :=SPACE := $(EMPTY) $(EMPTY)SLASH := /V := @# try to infer the correct GCCPREFX#-------------------------------------------------------------ifndef GCCPREFIXGCCPREFIX := $(shell if i386-elf-objdump -i 2
2021-07-07 21:10:41
721
2
原创 ucore学习笔记：LAB0
LAB0 LAB0中没有实验任务，但是手册中有些难以理解的内容，特此记录。问题一： 下面的代码怎么理解：#define read_cr0() ({ \unsigned int __dummy; \__asm__( \"movl %%cr0,%0\n\t" \:"=r" (__dummy)); \__dummy; \}) 该段代码来自linux源码，是一个类函数宏，其作用是读取控制寄存器cr0。最外层括号的作用是让括号中的代码成为一个整体，防止预处理时发生意外错误。花括号的作用是
2021-07-07 16:22:55
332
原创 linux Bash登录脚本个性化定制（更改默认命令提示符）
1.登录shell和非登录shell 登录 shell 是指需要用户名、密码登录后进入的 shell，或者通过 --login 选项生成的 shell。非登录 shell 是指不需要输入用户名和密码即可打开的 shell，比如输入命令 bash或者sh 就能进入一个全新的非登录 shell，在 Gnome 或 KDE 中打开一个 “terminal” 窗口，也是一个非登录 shell。2.登录shell和非登录shell读取配置文件的流程 对于登录shell，如果用户在运行级别3登录系统时，会首先
2021-06-29 20:42:34
1027
原创 windows使用oh-my-posh美化powershell命令提示符
windows使用oh-my-posh美化powershell命令提示符 需要提前安装的软件：windows terminal、git。安装oh-my-posh，需要保证git命令可用，这里默认git已经安装好，之后用下面命令安装oh-my-posh：Install-Module posh-git -Scope CurrentUserInstall-Module oh-my-posh -Scope CurrentUser 如果安装过程oh-my-posh无法下载下来，则采取手动下载，添加
2021-06-22 13:08:35
3782
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人