常数时间初始化向量

最新推荐文章于 2021-04-25 10:26:02 发布
原创 最新推荐文章于 2021-04-25 10:26:02 发布 · 1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

来自《编程珠玑》1.6.9

使用更多的空间来换取更少的运行时间存在一个问题：初始化空间本身需要消耗大量的时间。说明如何使用一种技术，在第一次访问向量的某项的时候将其初始化为0。提示：采用空间换时间的方式，并且空间占用和向量长度成线性关系。这种方式仅在【空间很廉价】【时间很昂贵】【向量很稀疏】的时候有用。


一直没有想到这个问题怎么处理，后来上网搜了一下。发现了答案。先看答案：




然后来理解答案....

当我们访问到data[i]时，首先就需要判断data[i]是否已经被初始化，怎么判断？这里采用的方式就是直接判断  from[i]<top && to[from[i]]==i   。其实这里相当于是采用了一个双保险来判断。如果不是首次访问，按照上面的初始化方式，明显是满足这个条件的。如果恰好是首次呢？那么from[i]也没有初始化，是一个随机数r，如果 r > top ，则明显而易见不满足；如果r < top，则 to[r] 保存的必然是某个已经初始化的data[k]对应的索引k，肯定不会是i。因此，同时满足这两个条件的from[i]的随机数出现的概率为0！！！因此，这个方法是安全的！！！



Eigen初始化及基本操作大全
踏雪飞鸿的博客
12-30 3万+
    Eigen常用操作   Eigen3安装: ubuntu如何安装Eigen   1. 常用头文件 #include <Eigen/Dense> //包含了下面的Core/Geometry/LU/Cholesky/SVD/QR/Eigenvalues模块 #include <Eigen/Core> // 包含Matrix和Array类，基础的线性代...
【tensorflow】常量张量的初始化
TomRen
10-31 2044
利用tensorflow生成全零或者全一的矩阵
【译】Android中的安全数据-初始化向量
omnispace的博客
07-02 1293
目录 初始化向量 默认值 自订值 空值 随机加密 使用范例 下一步是什么 安全提示 初始化向量 初始化向量是加密原语的固定大小输入。通常要求它是随机或伪随机的。IV的重点是允许使用相同的密钥来加密几个不同的消息。 在大多数提供程序（包括提供程序和提供程序）中，块算法模式（如CBC中的AES）都是必需的。AndroidKeyStoreBC 在API 18上，BC如果在解密过程中未指定IV，则使用默认Java的提供程序密钥Cipher将落入IllegalArgumentExce..
极客时间-实用密码学-08该怎么选择初始化向量
Tom的博客
12-14 4337
分组算法计算流程 分组算法要对输入数据进行分组，然后按数据分组进行运算。一个典型的分组算法由三部分组成：数据分组、分组运算、链接模式。 数据分组： 数据分组在加密时会将明文数据分组为加密算法能够处理的固定大小的数据块。比如AES能够处理的数据块大小为128位，那么数据就要被分割成一个或多个128为的数据块。 如果不能整分，就要把最后一个分组补齐为128位。这些分组数据的运算结果，组合起来就是密文数据。 解密时进行相反的操作将补齐数据去掉，再把数据分组组合成完整的明文数据。 理解了数据分组再来看一下分组运
Eigen库学习 ---- 5.高级初始化操作
AI Chen的博客
04-25 3558
Eigen库学习 ---- 5.高级初始化操作 上篇为：Eigen库学习 ---- 4.块操作 本篇为这个链接的学习笔记。   介绍初始化矩阵的几种高级方法，介绍如何得到单位矩阵和零矩阵等特殊矩阵。 一、逗号初始化   Eigen提供了逗号初始化的方法，可以很容易的设置矩阵、向量或者数组的元素值。按照从左到右从上到下的顺序列出所有的元素。对象的大小需要事先指定，如果列出的元素个数太多或者太少，Eigen会报错。 例如： Matrix3f m; m << 1, 2, 3, 4, 5, 6,
常数时间内查找栈中最小的元素
JJ_HH
06-09 1432
import java.util.Stack; /** * @Author JH * @CreateDate 18-6-9 * @Description 栈中最小的元素 */ public class MinStack &lt;E extends Integer&gt;{ private Stack&lt;E&gt; minStack=new Stack&lt;E&gt;(); ...
tensorflow参数初始化方法
sophicchen的专栏
12-02 3845
在tensorflow中，经常会遇到参数初始化问题，比如在训练自己的词向量时，需要对原始的embeddigs矩阵进行初始化，更一般的，在全连接神经网络中，每层的权值w也需要进行初始化。 tensorlfow中应该有以下几种初始化方法 1.tf.constant_initializer() # 常数初始化 2.tf.ones_initializer() # 全1初始化 3.tf.zeros_...
python 初始化一个4维向量_看图学NumPy：掌握n维数组基础知识点，看这一篇就够了...
weixin_35621029的博客
01-28 1715
摘要：NumPy是Python的最重要的扩展程序库之一，也是入门机器学习编程的必备工具。国外有位程序员讲NumPy的基本运算以图解的方式写下来，让学习过程变得轻松有趣。NumPy是Python的最重要的扩展程序库之一，也是入门机器学习编程的必备工具。然而对初学者来说，NumPy的大量运算方法非常难记。最近，国外有位程序员讲NumPy的基本运算以图解的方式写下来，让学习过程变得轻松有趣。在Reddi...
传统PSO算法及其初始化.zip_PSO_初始化
09-23
**传统粒子群优化算法(PSO)及其初始化详解** 粒子群优化算法（Particle Swarm Optimization, PSO）是一种基于群体智能的全局优化算法，由Eberhart和Kennedy于1995年提出。该算法灵感来源于鸟群觅食的行为，通过模拟...
关于tensorflow的几种参数初始化方法小结
09-18
在示例中，`val`是一个numpy数组，将其转换为常数初始化器，并用于创建变量`embeddings`。 2. **tf.ones_initializer()** `tf.ones_initializer()`用于初始化为全1向量。这对于需要所有元素都为1的场景很有用，如...
【理论】【代码】参数随机初始化方法
panbaoran913的博客
12-09 1363
一、均匀分布uniform 1.1 介绍 服从~U(a,b)U ( a , b )U(a,b) 1.2 代码 1.2.1 torch torch.nn.init.uniform_(tensor, a=0, b=1) #给Tensor或者Variable填充值使其满足均匀分布U（a,b） #参数: #tensor: 一个待填充的 torch.Tensor or autograd.Variable #a: 均匀分布下界 #b: 均匀分布上届 #Exa
在常数时间内完成push,pop,getMin的栈
brucehb的专栏
02-13 832
class GetMinStacke { public: void push(int x) { elements.push(x); if (minStack.empty() || x <= minDtack.top()) { minStack.push(x
最长公共子串（连续）问题
热门推荐
12-05 2万+
动态规划有一个经典问题是最长公共子序列，但是这里的子序列不要求连续，如果要求序列是连续的，我们叫公共子串，那应该如何得到这个串呢？ 最简单的方法就是依次比较，以某个串为母串，然后生成另一个串的所有长度的子串，依次去母串中比较查找，这里可以采用先从最长的子串开始，减少比较次数，但是复杂度依然很高！ 然后重新看一下这个问题，我们建立一个比较矩阵来比较两个字符串str1和str2
寻找最大子树
09-19 2120
问题描述： 给一个二叉树，每个节点都是正或负整数，如何找到一个子树，它所有节点的和最大？  思路：采用自底向上的计算。先计算左右子树总和值，用左右子树的总和加上当前节点值，如果当前总和大于最大值，则更新最大值，同时将最大子树根节点更新为当前根。简单说，就是后序遍历。 代码： #include #include using namespace std; stru
动态规划之----最长公共子序列(LCS)
12-05 1895
这个问题是动态规划算法中的一个经典问题，先看问题描述： LCS:两个字符串 X和 Y，找到他们最长的公共子序列，该序列不要求是连续的。公共子序列的意思就是序列的相对顺序是不变的，但是序列不一定是连续的。 例如： X = "BDCABA" Y = "ABCBDAB" 他们的最长公共子序列是BCBA和BDAB，长度都为4，找到任意一个即可。 LCS问题也满足最优子结构：
查找数组中的重复数字
09-24 1505
题目：一个长度为N的数组，其中存放了0~N-1的各个数组，要求在O(n)的时间复杂度和O（1）的空间复杂度下找到至少一个在其中重复出现的数字。（可能不止一个重复出现的） 思路1.考虑到数组长度为N，而数字都没有大于N-1的，则可以考虑采用下标置换的方法。将数字置换到其值对应的下标位置，如果找到某值其对应下标位置已经存有对应值，则说明此值重复，可返回。 代码：
He初始化的时间复杂度是多少
最新发布
04-22
<think>好的，我需要分析He初始化方法的时间复杂度。首先，He初始化主要应用于使用ReLU激活函数的神经网络，目的是调整权重矩阵的初始方差，以避免梯度消失或爆炸。它的核心步骤是根据输入层的神经元数量（n_in）来计算方差，并将权重初始化为符合该方差的高斯分布或均匀分布。 时间复杂度通常关注的是计算步骤随输入规模的增长情况。对于He初始化来说，假设权重矩阵的大小是m×n，其中m是输入层神经元数量，n是输出层神经元数量。生成每个权重值的时间是常数O(1)，因为只是从某个分布中取样。因此，整个权重矩阵的初始化时间复杂度应该是O(m×n)，即与权重矩阵的元素数量线性相关。 但是需要确认是否有其他计算步骤会影响时间复杂度。例如，计算方差的过程是否涉及复杂的运算？He初始化的方差公式是2/n_in，这只是一个除法操作，时间复杂度是O(1)。因此，整个初始化过程的时间复杂度依然由填充矩阵的循环或向量化操作决定，即O(m×n)。 另外，用户提供的引用[3]提到数组操作的时间复杂度，比如分片和reshape是O(1)或线性时间，这可能与具体实现有关，但He初始化不涉及这些操作。引用[4]中的3^n复杂度与He初始化无关。因此，可以确定He初始化的时间复杂度主要由权重矩阵的大小决定，即O(m×n)。</think>--- ### He初始化方法的时间复杂度分析 #### 一、He初始化的核心操作 He初始化是一种针对ReLU激活函数的权重初始化方法，其核心公式为： $$ W \sim \mathcal{N}\left(0, \sqrt{\frac{2}{n_{\text{in}}}}\right) \quad \text{或} \quad W \sim U\left(-\sqrt{\frac{6}{n_{\text{in}}}}, \sqrt{\frac{6}{n_{\text{in}}}}\right) $$ 其中 $n_{\text{in}}$ 表示当前层的输入神经元数量[^1]。 #### 二、时间复杂度推导 1. **计算方差**： 根据输入神经元数 $n_{\text{in}}$ 计算方差 $\frac{2}{n_{\text{in}}}$，时间复杂度为 $O(1)$。 2. **生成权重矩阵**： - 若权重矩阵维度为 $m \times n$（$m$ 为输出神经元数，$n$ 为输入神经元数），则需生成 $m \times n$ 个独立随机数。 - 生成每个随机数的时间复杂度为 $O(1)$（如调用高斯分布或均匀分布生成器）。 综上，总时间复杂度为： $$ O(m \times n) $$ #### 三、与其他操作的对比 1. **Xavier初始化**：与He初始化类似，时间复杂度同为 $O(m \times n)$，区别仅在于方差公式（$\frac{1}{n_{\text{in}}}$ vs. $\frac{2}{n_{\text{in}}}$）[^1]。 2. **批量归一化（BN）**：BN需要对每个批次的数据进行标准化，时间复杂度为 $O(b \times d)$（$b$ 为批次大小，$d$ 为特征维度），显著高于初始化操作[^2]。 #### 四、实际应用中的效率 - **计算代价极低**：初始化仅在模型创建时执行一次，远低于训练时的梯度计算成本（如反向传播的时间复杂度通常为 $O(L \times m \times n)$，$L$ 为层数）[^1]。 - **硬件优化**：现代深度学习框架（如PyTorch/TensorFlow）通过向量化操作并行生成随机数，实际耗时可忽略不计。 --- ### 示例代码（PyTorch实现） ```python import torch.nn as nn # He初始化（默认针对ReLU） layer = nn.Linear(in_features=100, out_features=200) nn.init.kaiming_normal_(layer.weight, mode='fan_in', nonlinearity='relu') ``` - **时间复杂度**：生成 $100 \times 200 = 20,000$ 个参数，时间复杂度为 $O(20,000)$，即 $O(n_{\text{in}} \times n_{\text{out}})$。 --- ### 相关问题 1. **Xavier初始化和He初始化的适用场景有何区别？** 2. **在Transformer模型中，权重初始化通常采用什么方法？** 3. **如何验证不同初始化方法对模型训练收敛速度的影响？** --- ### 总结 He初始化的时间复杂度与权重矩阵的参数量成严格线性关系（$O(m \times n)$），其计算成本在模型构建阶段可以忽略。该方法的有效性主要体现在改善梯度流动特性，而非计算效率优化[^1][^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值