自定义博客皮肤VIP专享

*博客头图：

点击选择上传的图片

格式为PNG、JPG，宽度*高度大于1920*100像素，不超过2MB，主视觉建议放在右侧，请参照线上博客头图

请上传大于1920*100像素的图片！

博客底图：

点击选择上传的图片

图片格式为PNG、JPG，不超过1MB，可上下左右平铺至整个背景

栏目图：

点击选择上传的图片

图片格式为PNG、JPG，图片宽度*高度为300*38像素，不超过0.5MB

主标题颜色：

RGB颜色，例如：#AFAFAF

Hover：

RGB颜色，例如：#AFAFAF

副标题颜色：

RGB颜色，例如：#AFAFAF

预览取消提交

自定义博客皮肤

-+

上一步保存

ChangHengyi的博客

原创 Pytorch LSTM内存泄漏问题

环境：CentOS 7.9.2009，Python 3.8.12，torch 1.10.1+cu113先来看一段代码：# 初始化一个lstm模型，和一个输入，以及手动初始化lstm初始状态h0和c0rnn = torch.nn.LSTM(640, 512, 1, batch_first=True)xs = torch.randn([1, 80, 640])h0, c0 = torch.zeros([1,1,512]), torch.zeros([1,1,512])# 每次手动输入l..

2022-02-09 17:34:21 1999 3

原创一片文章带你理解再生核希尔伯特空间（RKHS）以及各种空间

在学习机器学习的同学如果对SVM中的核函数进行深究，一定会见到再生核希尔伯特空间（RKHS）这个概念，其他理工科的同学往往也会在书中遇到希尔伯特空间这样的字眼，还有什么巴拿赫空间、赋范线性空间等等。但是非理学院的同学遇到这些字眼往往会被吓到，或者觉得好高大上。但是，这些概念其实一点都不难，读了今天我的文章，希望大家可以理解好这些概念，至少以后不会被它们吓到，如果只是想知道希尔伯特空间是什么，那看到...

2018-06-05 12:29:11 39836 27

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

ChangHengyi 优快云认证博客专家优快云认证企业博客

码龄7年

IP 属地：北京市

IP属地以运营商信息为准，境内显示到省（区、市），境外显示到国家（地区）

2: 原创

30万+: 周排名

231万+: 总排名

4万+: 访问

: 等级

370: 积分

97: 粉丝

212: 获赞

30: 评论

513: 收藏

私信

关注

热门文章

分类专栏

数学分享 1篇

最新评论

一片文章带你理解再生核希尔伯特空间（RKHS）以及各种空间
忍山: 这张图表展示了几种数学概念之间的关系，特别是在函数分析领域中的空间概念。从左到右，每个大的彩色圆圈代表一种特定的空间，而它们之间的连接表示一种包含（或特化）的关系。最左边的蓝色圆圈代表“线性空间”(Linear Space)，这是最基本的概念，也被称作向量空间。线性空间是一个集合，其中包含了向量加法和标量乘法的运算，并且这些运算满足八条公理（如结合律、分配律等）。在线性空间中，并不需要定义向量的长度或者向量之间的角度。连接到蓝色圆圈的是一个棕色的圆圈，它表示“赋范线性空间”(Normed Linear Space)。赋范线性空间在线性空间的基础上增加了“范数”的概念，范数是一个函数，它给每个向量赋予了一个非负实数值，可以理解为向量的“长度”。有了范数，我们就可以讨论向量之间的距离和开球等概念。接下来，绿色的圆圈代表“巴拿赫空间”(Banach Space)，它是完备的赋范线性空间。所谓“完备”，指的是空间中的任何柯西序列都收敛于空间内的一个点。在数学分析中，完备性是一个非常重要的属性。最后，在图的右下角，有两个红色的圆圈，分别代表“内积空间”(Inner Product Space)和它的一个特例“希尔伯特空间”(Hilbert Space)。内积空间在赋范线性空间的基础上定义了“内积”，一个满足正定、共轭对称和线性的二元函数，它可以用来定义向量之间的角度和长度。而希尔伯特空间是具有内积的完备空间，是函数分析中非常核心的空间类型，广泛应用于数学、物理学和工程学等领域。
一片文章带你理解再生核希尔伯特空间（RKHS）以及各种空间
忍山: 这段话是在描述希尔伯特空间（Hilbert Space）的一个重要特性——其元素可以是函数，并且这些函数可以被视为无穷维空间中的点或向量。在有限维的线性空间中，每一个元素（或向量）都可以用一组有限的基底向量来表示，例如在三维空间中，任何一个向量都可以通过三个基本方向向量的线性组合来表示。当我们把这个概念扩展到无穷维空间，如函数空间，希尔伯特空间中的元素（这里的元素是函数）也可以用一组基底来表示，但这组基底是无限多的函数。这就像在有限维空间中用基向量表示向量一样，我们在希尔伯特空间中用一组基函数来表示函数。这组基函数是无限的，因为我们需要足够多的函数来精确表示任意一个函数元素。傅里叶变换提供了一个很好的例子。在傅里叶分析中，任何一个平方可积的函数（也就是说，函数的平方在其定义域上的积分是有限的）都可以表示为正弦和余弦函数的无限序列，这些正弦和余弦函数构成了一个正交基。这意味着每个函数可以看作是由这些基函数的“坐标”组成的一个“无穷维向量”。泰勒展开则是另一个例子，它把函数表示为多项式的无限序列，这些多项式的系数由函数在某一点的导数决定。在这种情况下，多项式基（如1, x, x², x³, ...）用来表示函数。因此，希尔伯特空间是一个非常抽象的概念，它允许我们像处理有限维向量那样处理函数，而且这种处理方式在数学分析、量子力学和信号处理等领域中都非常重要。
一片文章带你理解再生核希尔伯特空间（RKHS）以及各种空间
sunnygyk: 讲的很到位，语言组织非常好，明确读者的需求。
Pytorch LSTM内存泄漏问题
ChangHengyi: 应该是不行，训练代码里还是不要出现detach吧。我这个问题是基于一个推理的场景。
Pytorch LSTM内存泄漏问题
hsksjl: 请问detach过后还能够正确反向传播嘛

最新文章

提示

确定要删除当前文章？

取消删除