- 博客(73)
- 收藏
- 关注
RSS订阅原创 最优化理论-最优化1
设 ( f(x) ) 是定义在开集 ( S \subseteq \mathbb{R}^n ) 上的可微函数。若在点 ( x^* ) 处：f(x^其中 ( N(x^) ) 是点 ( x^) 的某个邻域，则称 ( x^* ) 为 ( f(x) ) 的。
2024-10-22 12:31:04
908
原创 最优化理论-统计学5
t 分布是一种连续概率分布，通常用于小样本数据的推断问题。t 分布是在标准正态分布和卡方分布基础上构建的。如果：其中 ( Z \sim N(0, 1) )，( U \sim \chi^2(k) )，且 ( Z ) 和 ( U ) 独立，则 (T) 服从自由度为 (k) 的 t 分布，记为 ( T \sim t(k) )。F 分布是用于比较两个方差的分布。
2024-10-22 12:30:33
1244
原创 最优化理论-统计学4
例如，假设从总体中随机抽取了 (n) 个样本，并将这些样本按升序排列为 (X_{(1)}, X_{(2)}, \dots, X_{(n)})，其中 (X_{(1)}) 是最小值，(X_{(n)}) 是最大值，(X_{(k)}) 是第 (k) 个最小值，即第 (k) 顺序统计量。顺序统计量和经验分布函数的结合使得每个顺序统计量 (X_{(k)}) 对应的经验分布值 (F_n(X_{(k)})) 为 (k/n)，因为顺序统计量按升序排列，第 (k) 个统计量对应了样本中恰好 (k) 个小于或等于该值的样本点。
2024-10-22 12:30:00
1331
原创 最优化理论-统计学3
*顺序统计量（Order Statistics）**是对样本数据按照大小进行排序后得到的统计量。给定一个样本数据集：将其按照从小到大的顺序排列，得到：其中，( X_{(i)} ) 表示第 ( i ) 个顺序统计量，即样本中的第 ( i ) 小值。最小、最大顺序统计量是关于样本的统计量，它们是对样本数据进行排序后得到的，反映了样本的特征。极差用符号( R )表示。极差 ( R )：样本数据中的最大值与最小值之差。中位数 ( M )：将一组数据按从小到大排序后，位于中间位置的数值。
2024-10-22 12:29:30
995
原创 最优化理论-统计学2
充分统计量是一个样本的函数，它包含了关于总体参数的所有信息。换句话说，给定充分统计量后，样本数据中关于参数的其他信息都是冗余的。形式化定义：设随机样本 ( X = (X_1, X_2, \dots, X_n) ) 来自含有未知参数 ( \theta ) 的概率分布，其概率密度函数（或概率质量函数）为 ( f(x;\theta) )。统计量 ( T(X) ) 被称为参数 ( \theta ) 的充分统计量，如果在给定 ( T(X) ) 的条件下，样本的条件分布与参数 ( \theta ) 无关。统计量。
2024-10-22 12:29:00
865
原创 最优化理论-统计学1
AI 大模型是基于统计原理，融合优化理论、计算机科学和大数据处理的一种广义统计方法，能力和应用范围超越了传统统计模型。理论的合理性首先取决于先验假设的合理性。假设越少，理论的普适性、可验证性和科学价值越高。统计量：样本数据的函数，用于估计总体参数。性质仅依赖样本：不依赖于未知的总体参数。随机性：由于样本的随机性，统计量也是随机变量。常见统计量：样本均值、样本方差、样本矩等。
2024-10-22 12:28:37
625
原创 深度学习杂乱知识
阿达玛乘积作为逐元素操作的工具，在几何意义上更注重局部的缩放和交互，而不是全局的变换。在机器学习中，它在神经网络的前向传播与反向传播特征交互注意力机制以及权重矩阵的控制等方面发挥了至关重要的作用。它的逐元素特性使得复杂的计算任务更加高效，尤其是在大规模的矩阵运算中，通过阿达玛乘积可以简化多维数据的处理与优化。梯度消失的主要原因是：在使用Sigmoid或Tanh等激活函数时，它们的导数在远离 0 的区域非常小，导致梯度在反向传播过程中逐层变小。梯度消失现象。
2024-10-22 12:25:53
1332
原创 机器学习5
决策树是用于分类和回归的机器学习算法。它通过一系列的“是或否”的决策来分类数据。每个决策是基于数据的某个属性进行的，如“色泽是青绿吗？决策树的核心是通过树状结构，将一个复杂的问题逐步拆解为多个简单的二元问题，最终通过一系列决策得出结果。示例：假设我们要判断一个水果是否是苹果。颜色是红色吗？如果是，继续判断；形状是圆的吗？如果是，继续判断；它的味道是甜的吗？如果都是，那么我们可以说它是苹果。问题：判断一个水果是否是苹果。属性颜色：红色、绿色、黄色；形状：圆形、椭圆形；味道：甜、酸。
2024-10-22 12:24:40
1138
原创 机器学习4
假设我们有一个不平衡的数据集，包含100只“猫”和10只“狗”。过采样：我们生成90个新的“狗”样本，使得“狗”和“猫”样本的数量一样多，各有100个。欠采样：我们减少“猫”的样本数量，删掉90个“猫”，只保留10个“猫”样本，使得“猫”和“狗”样本数量一样多，各有10个。阈值移动：在训练完模型后，我们调整模型的阈值，将默认的0.5调整为0.3，以便在模型预测“狗”的概率时能更容易将样本归类为“狗”。
2024-10-22 12:24:07
1409
原创 机器学习3
比较检验用于比较多个模型或算法的性能差异。通过计算均值、方差等统计量，我们可以判断这些模型之间的差异是否具有统计显著性。常见的比较检验方法包括 假设检验、t 检验、Friedman 检验 和 Nemenyi 检验 等。假设检验是一种用于验证数据是否符合某一假设的统计方法。常用于评估模型的错误率是否符合预期，主要包括二项式检验、t 检验等。二项式检验是一种用于二分类问题的统计方法，常用于分析分类模型的错误率是否显著偏离预期。假设我们期望模型的泛化错误率为 ( e )，通过二项式检验，我们可以计算模型的测试错误
2024-10-22 12:23:32
703
原创 机器学习2
K折交叉验证法是一种用于评估模型性能的技术。它将数据集分为K个相等的子集，模型会轮流使用一个子集作为测试集，其余K-1个子集作为训练集。这个过程会重复K次，最后取K次结果的平均作为模型的最终性能评价。留1法是K折交叉验证法的极端形式。每次只留出一个样本作为测试集，其余所有样本作为训练集。这一过程对每个样本重复多次，每次用一个样本做测试集，其余样本做训练集。自助法是一种通过有放回抽样的方法来生成训练集和测试集。它从原始数据集中有放回地抽取数据，形成训练集，剩余未被抽到的样本组成测试集。真正例（TP）
2024-10-22 12:22:58
1204
原创 机器学习1
在机器学习中，特征是描述样本属性的指标，而特征空间是由这些特征构成的多维空间。模型通过在特征空间中寻找与训练数据匹配的假设，来预测新样本的结果。假设空间包含了所有可能的假设，模型在其中寻找最优的假设来解释数据。经过训练数据的。
2024-10-22 12:22:25
776
原创 Transformer
*自注意力机制通过 Q/K/V 机制计算上下文中其他标记对当前标记的影响，输出一个新的嵌入向量。多头自注意力机制通过多个独立的注意力头并行处理，使模型能够在不同的子空间中捕捉依赖关系。每个注意力头有独立的权重矩阵，并通过竞争机制优化不同领域。经过多头注意力的输出会再进入 MLP 层进行进一步处理。1. 残差连接（Residual Connection）1.1 什么是残差连接？残差连接是一种用于深层神经网络中的技巧，旨在解决随着网络层数加深，梯度消失或梯度爆炸的问题。通过跳跃连接。
2024-10-22 12:21:41
893
原创 Python进阶
语法糖是指编程语言中提供的特定语法，用来使代码更加易读和简洁，而不引入新的功能。语法糖的存在是为了让程序员更轻松地编写代码。装饰器的就是一种语法糖，它可以简化函数包装的过程。通过在中定义__all__列表，可以控制包被导入时的公共接口：这样，只会导入module1和module2，其他模块不会被导入。文件主要用于：标识目录是Python包。控制包的初始化行为。定义包的公共接口。虽然在Python 3.3之后，文件不是必须的，但它仍然是组织和管理包的最佳实践。
2024-10-22 12:21:08
1049
1
原创 Python基础
变量是用来存储数据的容器。在Python中，直接赋值变量而无需指定类型。列表是一种可以存储多个值的数据结构，使用方括号 “[]” 定义，元素之间用逗号分隔。字典是一种存储键值对的集合，使用 “{}” 定义，键值对之间用逗号分隔。元组与列表类似，但其元素不可修改，使用 “()” 定义。集合是一种无序且不重复的元素集合，使用 “{}” 定义。使用 “def” 关键字定义函数，括号内可以传入参数。元组是有序的。字典在Python 3.7及以后是有序的。集合是无序的。
2024-10-22 12:20:41
886
原创 Smali语言基础语法
定义、声明、调用Smali数据类型定义：与Java相同，Smali中也有一套数据类型体系，且该体系实质上是同Java一一对照的。示例1：Smali——Java数据类型对照表PS:如上图所示，Smali语言中的数据类型的关键词基本上为Java中同名数据类型的首字母大写，需要着重记忆的例外为：1.long类型的关键词为大写J；2.boolean类型的关键词为大写Z；3.数组的关键词为左半边中括号[；4.object类型(各种类)的关键词为大写L加上该类的全类名路径，路径中的层级用/分割。
2021-07-02 11:23:34
10789
4
原创 反汇编笔记——64位机寄存器
定义：反汇编涉及到的32位——64位系统中，寄存器发生了些微改变（对于16位系统中的各寄存器，在其名前加上e成为eax/ecx代表其为32位寄存器，其中可存放32位数据；在其名前加上r成为rax/rcx代表其为64位寄存器，其中可存放64位数据）示例1：64位系统寄存器汇总PS1:如上图所示，其中‘易失’意味着当使用call指令等指令进行新代码段的调用时，其值有可能发生改变（该性质同16位时代的各寄存器，在call内使用前应当对其进行入栈以保证其内原本存放的数值不发生丢失）PS2:如上图所示
2021-06-05 18:36:20
2619
原创 汇编学习笔记——宏
目录宏宏库宏定义：在程序中为一个代码段起名，而后的程序段中直接通过其名字将该代码断复制。格式：;定义宏名 macro [形参表] ;宏定义体endm;调用宏名 [实参表]示例1：在程序中使用宏PS:如上图所示，宏定义类似高级语言中的函数定义，使用的方式同样与之类似，可在宏定义体中书写任意指令示例2：宏定义与子程序辨析PS1:如上图所示，子程序的的使用和宏的使用实际上差别巨大。子程序的原理为书写一段指令之后将之存储与内存的某一区段，而后.
2021-05-18 16:47:43
3130
原创 汇编学习笔记——外部设备
目录外部设备CMOS RAM芯片外部设备定义：一系列通过主板与CPU连接的外部设备CMOS RAM芯片定义：包含一个实时钟和一个有128个存储单元的RAM存储器，其中存储内部实时钟、系统配置信息、用于开机时配置系统信息的相关程序等。示例1：CMOS RAM芯片概况PS1：如上图所示，CMOS RAM芯片由独立电池供电，即使关机后其内部时钟仍正常工作并且RAM中的信息不会丢失。PS2：该芯片内部有两个端口，地址分别为70h与71h，CPU可通过这两个端口..
2021-04-21 12:53:44
288
原创 汇编学习笔记——伪指令
伪指令定义：没有对应机器码的指令，最终不被CPU所执行，而是由编译器执行的指令。编译器根据伪指令来进行相关的编译工作。示例1：一段汇编程序中的伪指令示例PS:伪指令在debug中直接执行汇编代码是不需要的，但若要将汇编程序交由编译器执行，则是必要的。段定义定义：一个汇编程序是由多个段组成的，这些段被用来存放代码、数据或当作栈空间来使用。格式为：段名 segment表示段的开始；段名 ends表示段的结束。示例：完整的汇编程序PS1:一个有意义的汇编程序中至少要有...
2021-04-13 10:48:03
2431
原创 汇编学习笔记——设计与执行
指令执行定义：CPU读取CS:IP指向的地址的数据，并将之解析为汇编指令执行示例1：8086CPU中的指令执行框架PS1:如上图，指令存放在内存中，而CS:IP通过地址加法器组合成的地址指向内存中的一段存储着指令代码的地址段PS2:指令数据被从内存中提出，通过数据总线进入指令缓冲器，最后被执行。示例2：通过DOSBox实际演示指令执行PS1:如上图，当使用t指令时，2000:0000处的mov ax,0123被执行，将寄存器ax中的值改为0123，而后寄存器ip的值自动增加并
2021-04-12 10:48:52
508
原创 汇编学习笔记——寻址与存储
寻址物理地址定义：所有接入电脑的内存件都将被赋予一个独有的编号，这个编号作为CPU访问其时的‘地址’存在，编号由零开始一维延伸，因此所有内存单元构成的存储空间是一个一维的线性空间示例：8086CPU对应的内存PS:除了专用的内存条之外，计算机的显存、各类外接设备的存储器，所有RAM与ROM存储元件都会被统一编址。寻址能力定义：CPU最多能够处理的地址的大小称为其寻址能力。由其一次可处理的数据的位数和地址总线的传输能力共同决定示例：8086CPU是16位结构的CPU，其一.
2021-04-09 11:30:38
734
原创 汇编学习笔记——汇编指令
mov、add指令定义：mov A,B将B中的数据移入A；add A,B将A与B相加的结果存入A示例1：mov与add指令对应到高级编程语言中PS:汇编指令不区分大小写，即MOV等效与mov示例2：使用高低8位寄存器的情况下的指令执行结果PS:最后一条指令中，C5H与93H相加的结果为158，但因为al寄存器只能存储8位数据，因此最高位1因为数据溢出而被舍弃（因使用的是al寄存器进行独立运算，故该进位不会进入ah寄存器中）...
2021-04-09 10:12:51
5285
1
原创 汇编学习笔记——寄存器
寄存器定义：CPU内部用于信息存储的单元示例：8086CPU中有14个寄存器PS1:8086CPU中所有的寄存器都是16位（16b）的，可以存放两个字节（2B）PS2:寄存器的大小与CPU的操作位数与CPU对应的字长相同，对于8086CPU，其寄存器大小、操作位数与字长皆为16位通用寄存器定义：可用于传送和暂存数据，也可参与算术逻辑运算，并保存运算结果的寄存器示例：8086CPU中的AX寄存器PS:以上为在AX寄存器中存储4E20H（01001110001000.
2021-04-09 09:41:18
609
原创 学习笔记---高等数学前置知识---三角函数
三角函数定义：在直角三角形中，当平面上的三点A、B、C的连线，AB、AC、BC，构成一个直角三角形，其中∠ACB为直角。对∠BAC而言，对边（opposite）a=BC、斜边（hypotenuse）c=AB、邻边（adjacent）b=AC，则存在以下关系：单位圆图像：注：如图，以上单位圆（即以原点为圆心，半径为1的圆）上的各个点的x坐标为当前角度的余弦
2017-06-20 23:25:39
2074
原创 学习笔记---高等数学前置知识---数列、排列组合、解不等式
数列等差（a1即首项，d即公差，n即项数）通项公式：前n项和公式：或等比（a1即首项，q即公比，n即项数）通项公式：求和公式：附：裂项公式常在计算数列和时用于裂项相消法例：1/(1*3)+1/(2*4)+1/(3*5)+...+1/[n(n+2)]=1/2(1
2017-06-16 16:27:55
3417
原创 学习笔记---高等数学前置知识---一元二次方程、一元二次函数、指数、对数
一元二次方程形态：ax²+bx+c=0 (a≠0)求根公式：x=(-b±(b²-4ac)^(1/2))/(2a)当b²-4ac>0时有两个不相等的实根当b²-4ac=0时有两个相同的实根当b²-4ac（虚根）注：在正式学习高数之前，对于复数只需要知道i²=-1即可韦达定理（x1、x2为方程的两个根）：x1+x2=-(b/a),x1
2017-06-10 18:42:06
4810
1
原创 学习笔记---高等数学前置知识---约分、通分
约分定理：分子分母同时乘/除一个非零数之后，分式的值不变。例：ab/(a^2b-ab^2)=ab/(ab(a-b))=1/(a-b)注：在进行约分之前，应优先对分子和分母进行因式分解。通分定理：同分母的分式相加/减，则分母不变分子相加/减例：a/2b+b/3a^2+c/4ab=(6a^3)/((12a^
2017-06-09 21:34:51
3300
原创 学习笔记---高等数学前置知识---乘法公式与因式分解
乘法公式平方差公式：算式①：a^2-b^2=(a+b)(a-b).完全平方公式：算式①：a^2+2ab+b^2=(a+b)^2.算式②：a^2-2ab+b^2=(a-2)^2.算式③：(a+b+c)^2=a^2+b^2+c^2+2(ab+ac+bc).算式④：(a-b+c)^2=a^2+b^2+c^2+2(-ab+ac-bc).算式⑤：(a+b)^3
2017-06-09 16:03:02
2620
原创 学习笔记---文件基础
概述文件读写读/写指定格式以字符为单位从文件读入fscanf(文件指针,格式字符串,输入表列);int fgetc(FILE *fp);写到文件中fprintf(文件指针,格式字符串,输出表列);int fputc(int ch,FILE *fp);概念：指存储在外部介质上的数据
2017-06-08 21:40:50
1328
原创 学习笔记---位运算
位运算位运算符优先级运算符功能结合方式2~按位取反由左向右5>左移 右移由左向右8&按位与由左向右9^按位异或由左向右10|按位或由左向右左移、右移运算符：运算规则：将变量的二进制
2017-05-02 20:30:07
631
原创 学习笔记---枚举类型、联合体、自定义类型
枚举类型定义：将变量的值一一列举出来，变量的值只能在列举出来的值的范围内的数据类型。作用：使用户能够自己定义标识符表示变量的值。（类似宏定义中定义常量的作用，但枚举类型是批量的，整合的。且在代码中而非编译中执行的）语法：声明：enum 枚举类型名 {枚举常量表列};例如：enum Color {red,black,white};则：Color
2017-05-01 19:43:11
451
原创 学习笔记---动态规划
动态规划（多阶段决策）意义：求解决策过程最优化的数学方法基本思想：将待求解的问题分为若干个阶段，即若干个互相联系的子问题，在求解子问题的过程中逐步推导出原问题的解。核心：在求解子问题的过程中，存储子问题的解。注1：动态规划的思想实际上和递归相似。都是通过逐步推导，得到答案。而用它们解题时的核心也都是求出“递推公式”。但动态规划和递归的一大区别是：动态
2017-04-25 10:13:23
451
原创 学习笔记---回溯算法与贪心算法
回溯意义：编程解决问题时，常遇到需要例遍所有可能性来求解问题的情况。此时，回溯将是不错的选择。代码示例：#include #include #include /*这个程序用来测试回溯算法在解决问题中的应用*//*八皇后问题：经典的八皇后问题，即在一个8*8的棋盘上放8个皇后，使得这8个皇后无法互相攻击( 任意2个皇后不能处于同一行，同一列或是对角
2017-03-12 17:30:20
1072
原创 学习笔记---检索与排序
排序定义：使一组数据有序化的过程分类：比较类算法（冒泡排序法、快速排序法、堆排序法）、非比较类算法（简单计数排序等）快速排序法：简述：1.找序列中的一个数（一般取首元素data[0]）作为基数2.首先确定基数在排好序的数组中的位置，将其保存到该位置上（保证比基数小的数都在基数左边，而比基数大的数都在基数右边。则基数就在其该在的位置上了）3
2017-03-05 12:20:09
665
原创 学习笔记---链表
链表链表基础定义：链表是一种物理存储单元上非连续、非顺序的存储结构，数据元素的逻辑顺序是通过链表中的指针链接次序实现的。特点：1.结点地址不连续2.用上一结点中的地址，才能找到下一结点结点：定义：组成链表的基本单元组成：用户需要用的实际数据 下一个结点的地址图示：解析：1.每个正方形代表一
2017-02-12 22:25:01
576
原创 学习笔记---预处理
预处理（编译预处理）预处理命令：C语言中以符号“#”开头的命令示例：#define... #include... #ifdef...含义：1.在对程序进行编译之前，根据预处理命令对程序进行相应处理。2.经过预处理后编译程序才可以对程序进行编译等处理，得到可供执行的目标代码。示意图：解析：如图，源程序经过编译和连接生成可执行文件
2017-02-06 22:01:39
589
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人