佚名ano-优快云博客

原创一起读论文-Dropout：一种防止神经网络过拟合的简单方法

深度神经网络（Deep Neural Networks, DNNs）因其大量参数而成为非常强大的机器学习系统。然而，过拟合在这类网络中是一个严重的问题。大型网络在使用时计算较慢，因此通过在测试时结合多个不同大型神经网络的预测来应对过拟合变得困难。Dropout 是一种用于解决该问题的技术，其核心思想是在训练过程中随机丢弃神经网络中的单元（包括它们的连接）。这种方法防止了单元之间过度共适应（Co-adaptation）。

2024-12-04 20:03:51 1019

原创阻尼Newton方法-数值最优化方法-课程学习笔记-5

这篇文章我们继续来学习数值最优化方法第三章的后续内容这一章我们以及在之前了解过了：最速下降法，基本Newton方法，这一节我们来了解阻尼newton方法之前我们提到的基本Newton方法是以一固定步长和Newton方向进行迭代的，但是我们学习过线搜索，自然会想到这样的固定步长迭代是否会不合适，所以对于此进行优化的方法阻尼 Newton 方法就产生了这样的方法能够保证对函数 Hassen矩阵正定的前提下函数值单调下降，于基本Newton方法不同的是，即使迭代点离x∗x^*x∗稍远这个方法也有可能收敛到最低点

2024-11-20 21:19:26 855

原创负梯度方法与Newton型方法-数值最优化方法-课程学习笔记-4

今天我们继续来学习数值最优化方法的第三章内容的后续知识。

2024-11-11 15:14:14 477

原创 Linear Algebra Done Right-线性代数应该这样学-学习笔记-3

继续第一章, 我们从第一章的最后一节开始这一节我们围绕子空间的概念展开, 下面我们给出子空间的定义比如说1.33 Example: {(x1,x2,0):x1,x2∈F}\{(x_1,x_2,0):x_1,x_2\in F\}{(x1,x2,0):x1,x2∈F}就是F3F^3F3的子空间有些数学家使用线性空间这样的术语, 这和子空间的意义相同由上一节学习到的概念我们可以知道, 如果我想判定一个集合是否是向量空间, 我们得从六个定义入手, 也就是我们所说的三率三元接下来我将给出方法来确定一个向量空间

2024-11-06 18:09:01 682

原创 Linear Algebra Done Right-线性代数应该这样学-学习笔记-2

还是第一章, 接着上一次没有说完的第二节B开始讲。

2024-11-03 15:49:56 956

原创 Linear Algebra Done Right-线性代数应该这样学-学习笔记-1

今天开始复习线性代数, 我将以Linear Algebra Done Right(Sheldon Axler著)这本书为参考, 为大家分享线性代数的相关知识需要和大家强调的是, 这本书的原书, 即使是英文版也相当值得一读, 不仅写的简洁, 而且排版相当舒服, 英语不好的也只需要查阅数学专业词汇就能看懂。

2024-11-01 13:17:16 1113

原创负梯度方法与Newton型方法-数值最优化方法-课程学习笔记-3

这一章开始我们将针对不同的最优化问题, 介绍各种各样不同的方法, 这一章的Newton型方法就是以Newton方法为基础建立起来的一系列最优化方法首先我们来了解一下, 最速下降法:假定在第k步迭代已得迭代点xkx_kxk, 为了得到xkx_kxk点最快的下降方向, 首先要满足的是数值下降, 所以先得满足公式∣gkTdk∣

2024-10-31 13:41:18 308

原创无约束最优化方法基本结构-数值最优化方法-课程学习笔记-2

现在我们正式进入第二章的学习, 在开始学习无约束最优化方法之前我们先学习几个知识.在以后的章节, 如果没有特殊说明, 我们总假定目标函数f(x)f(x)f(x)的一阶导数存在, 当算法要求存在二阶导数时, 那就存在二阶导数, 并且一,二阶导数我们这里记作:通常我们记:之前在网上看到一个笑话:打开罐头前, 我们先学习一下如何打开罐头, 按照如下流程学习:罐头的定义,罐头的性质,罐头的特点,罐头的历史,罐头的…虽然这个是笑话, 但是在实际的学习中我们确实有必要学习完整的知识体系, 对于我们这个最优化问题求解这个

2024-10-30 17:00:29 541

原创一起读论文-Universal Language Model Fine-tuning for Text Classification

对于归纳式迁移学习，一种简单的迁移技术(微调预训练的词嵌入)主要作用于模型的第一层，已经在实际应用中产生了巨大影响，并且在大多数最新的模型中被使用。论文提出了一个新的方法–通用语言模型微调（ULMFiT），该方法解决了这些问题，并使得任何 NLP 任务的归纳迁移学习更加稳健，这个方法使用类似于微调 ImageNet 模型相同的 3 层 LSTM 架构, 使用相同的超参数，除了微调了 dropout 超参数外没有其他改动, 这个方法在六个广泛研究的文本分类任务上表现优于高度工程化的模型和迁移学习方法。

2024-10-08 21:12:22 1132 1

原创反证法原理

这下我们就可以把p=>q这个命题进行抽象了, 我们只需要知道, 当p是false的时候, 不用看q, 这句话一定是对的, 而如果p是true的话, 只有在q是false的时候整句话才是错的, 那么我们现在正式看看, 为什么可以使用反证法和来证明命题p=>q。既然只有四种情况, 我们不妨逐一排除, 首先, 我们有p = true成立, 那么就能先排除掉两种情况, 接着我们发现分别在~q=true和~q=false的不同情况中正好对应了"p。同样的, 我们按照这样的思路, 来理解一下p=>q。

2024-10-07 19:49:41 636

原创中位数和顺序统计量-算法导论-课程学习笔记

主要介绍了RANDOMIZED_SELECT算法和SELECT算法

2024-10-06 21:32:08 1126

原创引论-数值最优化方法-课程学习笔记-1

本课中我们只对非线性光滑最优化问题, 讨论求解无约束最优化问题和约束最优化问题的基本算法和基本理论。最优化问题（Optimization Problem）是数学和工程领域中的一种问题形式，这两种形式是最优化问题的最一般的形式, 其他形式的最优化问题都可以变换成这两种形式。在之后的2-5章内容我们将讨论无约束最优化问题,6-9章我们将讨论约束最优化问题。

2024-09-22 21:50:05 707

原创专家系统-人工智能及其应用-课程学习记录-5

专家系统（Expert System）是一种人工智能程序，它利用专家知识和推理能力来解决特定领域中的复杂问题。接下来用python实现一个极简版医疗诊断专家系统,该系统将根据用户输入的症状进行简单的诊断。实际应用中，专家系统可以更复杂，包含更多的规则、复杂的推理逻辑和用户友好的接口。存储问题的初始数据和推理过程中得到的中间数据。

2024-06-17 17:27:25 450

原创贝尔曼方程-人工智能及其应用-课程学习记录-4

贝尔曼方程（Bellman Equation）是动态规划和强化学习中的一个核心概念，用于描述一个状态的价值函数（Value Function）与其后续状态的价值函数之间的关系。它能够帮助我们递归地定义并求解每个状态的价值，从而找到最优策略。贝尔曼方程的基本形式在一个马尔可夫决策过程（MDP）中，贝尔曼方程的基本形式如下：Vsπ=E[Rt+γVπ(St+1)∣St=s]V^\pi_s=E[R_t+\gamma V^{\pi} (S_{t+1})|S_t=s]Vsπ=E[Rt+γVπ(St+1

2024-06-17 17:07:00 1148

原创反向传播算法-人工智能及其应用-课程学习记录-3

但是,这样即使参数已经很多了,我们从头到尾对输入参数做的变换都只是线性变换,并没有非线性变换,这里我们就需要再加上一个步骤,那就是非线性变换,我们在每一个节点输入后,把输入的值带入一个函数,得到其非线性变换的输出,这里我们使用的函数有很多种,比如sigmoid函数,relu函数,tanh函数以及他们的变种等等…我们以[-2,-2]为方向,设定一个合适的值为步长前进一步,然后再次计算负梯度再前进,如果步长选取合适,在一定次数的迭代下我们就能走到损失函数变化量足够小的情况也就是达到了最小值点,得到了最优的。

2024-06-17 12:35:54 1063

qq_37998735的博客