- 博客(34)
- 收藏
- 关注
RSS订阅原创 常见的深度学习模块/操作中的维度约定（系统性总结）
本文系统梳理了深度学习中的张量维度格式，涵盖6大核心模块：1）数据张量（NCHW/NHWC图像格式、序列数据）；2）卷积层权重（1D/2D/3D卷积核）；3）全连接层（输入/输出特征映射）；4）注意力机制（Query/Key/Value矩阵、注意力分数）；5）RNN结构（时序数据格式、隐藏状态）；6）批归一化层（1D/2D/3D参数）。通过典型维度示例（如(4,3,32,32)图像、(64,3,3,3)卷积核），清晰呈现了不同网络层的数据组织规律，为模型实现提供维度参考标准。
2025-08-03 21:48:57
391
原创 LSTM 的整体结构图（总览）
LSTM单元结构全解析📌 本文展示了LSTM的整体架构和核心组件：遗忘门（决定保留多少旧记忆）、输入门（控制新信息流入）、候选值（生成当前新内容）、记忆单元（存储状态）和输出门（决定隐藏状态输出）。数据流动顺序为：接收当前输入和上一步输出→通过三道门控机制→更新记忆单元和隐藏状态→传递给下一时刻。LSTM通过这种精心设计的门控结构，有效解决了传统RNN的长期依赖问题。
2025-08-02 02:51:48
1189
原创 前馈神经网络怎么学习“知识”？
本文简要介绍了前馈神经网络的学习机制：1）前向传播计算预测输出；2）计算预测与真实的误差；3）通过反向传播更新权重；4）使用梯度下降迭代优化。这种静态输入-输出的处理方式适合图像分类等任务，但无法处理时间序列数据，这正是循环神经网络(RNN)的应用场景。
2025-08-02 02:22:11
215
原创 什么是前馈神经网络（Feedforward Neural Network, FFNN）？
前馈神经网络是一种最基础的神经网络结构，信息沿着一个方向“前馈”（从输入 → 隐藏层 → 输出），没有循环或反馈结构。
2025-08-02 02:19:17
441
原创 在训练集（training）、验证集（validation）、测试集（test）这三种划分中，应该在哪个数据集上应用数据增强（Data Augmentation）？
不改变标签语义的前提下，这些增强数据被视为真实数据。数据增强通过制造“新样本”帮助模型更好地泛化；需要保持数据的“真实分布”和稳定性；如果在验证或测试集上使用增强，会。，因为你实际上改变了评估标准。
2025-08-01 14:45:18
460
原创 在数据线性分布的前提下，线性回归方法相比迭代式深度学习方法有什么优势？
当数据呈线性分布时，线性回归方法比迭代的深度学习方法具有更高的计算效率、更强的可解释性、更少的过拟合风险，以及对数据量的要求更低。因此，在这种情况下，使用线性回归是更合理、更经济的选择。
2025-08-01 14:27:05
251
原创 为什么有时神经元会输出类似（甚至一样）？
摘要：神经元共适应指神经网络中多个神经元重复学习相似特征，导致效率低下。为解决这一问题，研究者开发了多种正则化技术：Dropout通过随机屏蔽神经元促进独立性；L2正则化控制权重防止过拟合；BatchNorm稳定输出分布；多任务训练增强特征多样性；稀疏激活限制活跃神经元数量。理想状态下，每个神经元应成为特定模式的"专家"，分工协作以提高整体性能。这些方法共同确保了神经网络的高效学习能力。
2025-07-31 22:01:48
348
原创 为什么要让每个神经元（neurons）输出尽量不同？
神经元参数差异化的必要性：避免冗余特征提取和增强表达能力。若神经元参数趋同，会导致特征重复提取，降低网络效率；差异化特征能提供多视角输入分析（如形状、颜色、结构等），为后续层组合更高级语义特征（如物体识别）奠定基础。参数多样性是神经网络实现复杂表示的关键。
2025-07-31 22:00:54
349
原创 正则化都是放在模型的哪个位置呢？
正则化是防止神经网络过拟合的重要技术。常见方法包括：L1/L2正则（优化器参数中）、Dropout（全连接层后）、BatchNorm（卷积/线性层后）、数据增强（预处理阶段）和早停（训练监控）。其中，Dropout应放在线性层或ReLU后，BatchNorm需置于卷积/线性输出后、ReLU前，而L2正则通过优化器实现。这些方法各司其职：Dropout随机屏蔽神经元，BatchNorm归一化激活分布，数据增强扩展样本多样性，早停防止过度训练。合理组合使用可显著提升模型泛化能力。
2025-07-31 21:26:58
575
原创 BatchNorm 一般放在哪里？
BatchNorm通常置于线性层后、激活函数前，稳定数据分布并提升模型性能。其核心作用：1）线性变换后执行归一化，使深层网络梯度更稳定；2）在激活前处理数据，确保ReLU等函数正常工作；3）通过可学习的γ和β参数，保留网络表达能力。这种标准化-激活模式已成为深度学习的标准实践。
2025-07-31 21:16:33
245
原创 为什么 Batch Normalization 放在全连接/卷积层的输出之后？
摘要：神经网络层的标准结构为线性变换→批归一化(BatchNorm)→激活函数。BatchNorm作用于线性层输出而非输入，因为归一化输出特征能更有效地控制各通道的均值和方差，从而：1)减少内部协变量偏移；2)加速收敛；3)便于训练深层网络；4)通过γ/β参数保持表达能力。这种设计优于直接归一化输入特征，更有利于权重参数的优化调整。（150字）
2025-07-31 21:12:35
600
原创 Batch Normalization 是作用在哪个维度上？
BatchNormalization通过独立归一化每个输出维度来稳定神经网络训练。对于全连接层输出的M个维度，BatchNorm会为每个维度单独计算均值和方差，并使用可学习的缩放参数γ和偏移参数β。例如，输入为100×64，权重为64×256时，输出为100×256，BatchNorm会针对256个输出维度各自进行归一化，共需学习256个γ和256个β参数。这种机制能有效加速训练并提高模型性能。
2025-07-31 21:05:56
400
原创 全连接层本身是线性函数还是非线性函数？
其中 W 是权重矩阵，b 是偏置向量。非线性特性通常是通过后接的激活函数（如 ReLU、Sigmoid）引入的，而不是全连接层本身。
2025-07-31 20:52:55
144
原创 贝叶斯误差是什么
贝叶斯误差是理论上的最小误差，反映了数据中的不可避免的噪声。通过优化模型，我们只能减少偏差和方差，但无法消除贝叶斯误差。理解这一概念有助于设定合理的期望和评估模型性能的潜力。
2025-01-12 20:26:58
760
原创 引导误差是什么？
引导误差是指机器学习模型在学习过程中，基于算法的先验假设或设计限制，对模型的学习能力和适用场景施加的约束。这种偏差帮助模型在有限数据和高维空间中进行有效的学习。
2025-01-12 08:30:00
829
原创 测试集和训练集的区别是什么？
训练集让模型“学习”，测试集检查模型“学得如何”。在实际项目中，严格区分两者对评估模型的性能和防止过拟合至关重要。
2025-01-11 22:33:50
1432
原创 什么是学习？
美国心理学会《心理学词典》将学习定义为通过练习、观察或其他经历获得新的信息、行为或能力，并强调学习包括关注、组织和整合相关信息与现有知识。
2025-01-09 20:26:56
1400
原创 噪声信道（Noisy Channel） 的基本概念
由于噪声和干扰，接收到的信号可能与发送的信号有所不同，因此接收方必须尽可能从噪声中恢复出原始的信息。是信息理论中的一个重要概念，通常用来描述在信号传输过程中，由于各种干扰和噪声的存在，导致信号的失真和错误。为了从噪声中提取有用的信息，接收器通常会使用解码技术，借助编码过程中的冗余来纠正信号中的错误。由于信道中的噪声，接收的信息可能包含错误，因此接收方使用冗余信息来尝试纠正错误并恢复最接近的原始信息。在这个过程中，信号可能受到噪声的干扰，导致接收到的信息与发送的原始信息有所偏差。
2024-12-29 07:00:00
718
原创 Ziv-Lempel 压缩算法 的原理。（ LZ77 压缩方法）
总结来说，LZ77 利用文本中重复出现的模式，通过指针编码替代重复的子字符串，从而有效地减少存储空间。这是一种无损压缩算法，常用于数据压缩（如 ZIP 文件）。在回溯窗口中找到匹配。
2024-12-28 03:45:00
439
原创 条件独立（Conditional Independence）的定义，概念，及举例
条件独立（Conditional Independence）是概率论和统计学中的一个重要概念，用于描述在某个条件下，两个事件或随机变量之间是否相互独立。它是理解复杂概率模型（如贝叶斯网络）的基础概念。
2024-12-16 10:00:00
1449
原创 皮埃尔·布迪厄（Pierre Bourdieu）生平简介
皮埃尔·布迪厄的理论通过“资本”“场域”“惯习”等概念揭示了社会权力与不平等的机制。他的研究帮助人们理解社会中隐形的支配方式，具有重要的批判意义和现实启发。
2024-12-15 13:00:00
2167
原创 科尔·波普尔（Karl Popper）的批判理性主义（Critical Rationalism）
科尔·波普尔的批判理性主义是一种倡导批评、质疑与试验的思想方法，强调知识的暂时性和开放性。他的理论不仅对科学方法有深远影响，也对社会治理和哲学思考提供了重要启示。4o。
2024-12-14 21:34:36
1149
原创 神经网络的定义，组成，工作原理及应用
*神经网络（Neural Network）**是一种受人类大脑启发的计算模型，是深度学习的核心构成。它模仿生物神经元之间的连接，能够通过大量数据的训练完成分类、回归、生成等任务。每个神经元接收输入信号，经过加权求和和激活函数处理，生成输出信号。神经网络通过层层处理，提取数据的特征，用于完成复杂任务。数据从输入层依次通过隐藏层，经过加权求和和激活函数处理，最终到达输出层生成结果。其中，wiw_iwi是权重，xix_ixi是输入，bbb是偏置。人工神经元是神经网络的基本单元，类似于大脑中的生物神经元。
2024-12-07 22:18:43
2300
原创 深度学习和机器学习的异同
深度学习（Deep Learning）和机器学习（Machine Learning）是人工智能（AI）领域的两个核心概念。它们既有联系，又有显著的区别。以下从定义、特性、数据需求、模型复杂性、应用场景等方面详细阐述它们的异同。
2024-12-07 22:15:47
5001
原创 深度学习和强化学习的概念对比
DL的基本思想是通过多层的网络结构和非线性变换,组合低层特征, 形成抽象的、易于区分的高层表示,以发现数据的分布式特征表示 .因此DL方法侧重于对事物的感知和表达.RL的基本思想是通过最大化智能体(agent)从环境中获得的累计奖赏值,以学习到完成目标的最优策略.因此RL方法更加侧重于学习解决问题的策略.作为机器学习领域另一个研究热点,已经广泛应用于工业制造、仿真模拟、机器人控制、优化。作为机器学习领域一个重要的研究热点,已经在各个领域取得了令人瞩目的成功.1.深度学习(Deep Learning,DL)
2024-07-31 17:02:45
565
原创 常用的开源深度学习仿真工具
用户还可以通过Caffe社区参与开发与讨论.但是Caffe的灵活性较差.2.Torch是一个支持机器学习算法的科学计算框架.它是采用Lua脚本语言和C语言编写的.Torch为设计和训练机器学习模型提供了一个灵活的环境,它还可支持iOS、Android等嵌入式平台.最新版本Torch7使CNN的训练速度得到大幅度提升.对于Torch的时域卷积,其输入长度可变,这非常有助于自然语言任务.但Torch没有Python接口。1.目前常用的深度学习仿真工具有Caffe、Torch及Theano等.
2024-07-30 16:25:36
944
原创 线性可分与线性不可分问题的数学基础与理论
线性不可分问题(Linear Non-separable Problem)是指在多类别分类问题中，数据样本在特征空间中不能完全线性分离的情况。这种情况通常发生在数据样本在特征空间中存在非线性关系或者数据分布不均匀等情况下。线性可分问题(Linear Separable Problem)是指在多类别分类问题中，数据样本在特征空间中可以通过线性分类器完全线性分离的情况。然而，在实际应用中，数据样本往往存在一定的非线性关系，导致无法通过线性分类器进行分类。这种情况被称为线性不可分问题。
2024-07-30 16:13:26
513
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人