- 博客(30)
- 收藏
- 关注
RSS订阅原创 基于知识蒸馏的心律失常分类模型
期刊：电子设计工程时间：2022研究院：中国科学院微电子研究所，硕士关键词：心律失常；卷积神经网络；注意力；知识蒸馏。
2022-11-05 16:02:43
798
原创 基于知识蒸馏的单幅图像去雾方法
期刊：计算机工程 C时间：2022研究院：南京邮电大学关键词：图像去雾；生成对抗网络；知识蒸馏；教师网络；学生网络。
2022-11-05 00:51:38
1541
1
原创 基于知识蒸馏的车辆可行驶区域分割算法研究
2014 年 ，Long J[1] 等人提出使用全卷积神经网络 （Fully Convolutional Networks，FCN）对图像进行语义分割，这是卷积神经网络在图像分割领域的首次成功应用Olaf Ronneberger[2]等人提出一种用于医疗图像分割的 U 形网络 U-net，该方法最大的贡献在于提出了将图像编码与解码进行融合的思想。
2022-11-05 00:18:46
382
原创 基于知识蒸馏的差异性深度集成学习
期刊：浙江科技学院学报时间：2021研究院：浙江科技学院学报关键词：知 识 蒸 馏；差 异 性 集 成；深 度 神 经 网 络。
2022-11-01 17:19:58
179
原创 基于知识蒸馏的YOLOv3算法研究
期刊：计算机工程与应用 C时间：2022研究院：重庆大学 研究生关键词：知识蒸馏；模型压缩；目标检测；YOLOv3。
2022-11-01 09:57:51
616
1
原创 编译原理：正则表达式-＞NFA-＞DFA-＞DFA最小化
化简DFA关键在于把它的状态集分成一些两两互不相交的子集，使得任何两个不相交的子集间的状态都是可区分的，而同一个子集中的任何两个状态都是等价的，这样可以以一个状态作为代表而删去其他等价的状态，然后将无关状态删去，也就获得了状态数最小的DFA。传入两个NFA，创建一个开始节点和结束节点，按如图所示的方法添加ε边，修改开始和结束标记，返回新NFA，以第一个为开始，最后一个为结束，如图所示。测试样例完整，全面，支持用户输入测试样例，读取测试样例，随机生产测试用例，或任意点击提供的测试数据，支持。
2022-10-29 02:01:26
7082
原创 基于特征重建的知识蒸馏方法
传统的知识蒸馏忽略了教师模型的互相交互，而一些新模型 Zhou[10]、Mirzadeh[11]等人提出的模型虽然有了交互过程，但是网络交互方式大大限制了学生网络的灵活性。由此本文结合图片风格迁移实验中的特征重建方法提出了一种新的知识蒸馏方法。
2022-10-28 00:48:22
554
原创 基于小样本知识蒸馏的乳腺癌组织病理图像分类
本文使用的知识蒸馏方案是基于小样本的双级蒸馏策略，其核心在于它通过将学生模型的部分参数替换成教师模型的参数的方法，来学习学生模型的参数。这种嫁接策略可以更好地利用教师模型中训练有素的参数 ，并且显著缩小了学生模型的参数空间。
2022-10-28 00:47:35
884
原创 基于生成对抗网络的知识蒸馏数据增强
思想来源：仅对原标签做简单的线性变化或直接使用原标签作为新样本标签的方法是无法表示标签中离散信息的 ，这会导致网络模型无法将离散信息也作为一种特征进行学习。针对上述问题，在区域丢弃算法的基础上，提出一种基于生成对抗网络的知识蒸馏数据增强算法。使用补丁对丢弃区域进行填补，减少区域丢弃产生的非信息噪声。在补丁生成网络中，保留生成对抗网络的编码器-解码器结构，利用编码器卷积层提取特征，通过解码器对特征图上采样生成补丁。
2022-10-27 00:22:07
1322
原创 基于多阶段知识蒸馏的行人再识别 阅读记录
问题来源而对于行人再识别准确率最为关键的行人特征部分并未做出重点优化蒸馏方法包括两个部分（1）学习教师网络多个阶段的中间层表示；（2）对教师网络全连接层前的特征进行学习，使学生网络与教师网络的特征尽可能接近。
2022-10-26 12:02:03
600
原创 基于对抗学习和知识蒸馏的神经网络压缩算法 文献记录
（1）改进经典的知识蒸馏损失，使其不仅能够学习 教师网络输出的正确软目标，而且能够从中间层获取丰 富的隐含知识（2）引入对抗学习中的判别器，鉴别教师网络和学 生网络特征图的差异，进一步缩小大模型和容量有限的 小模型最优解空间之间的差异。（3）在训练过程中采用互学习的策略，使教师网络 和学生网络学习对方的特征图，提升泛化能力。为了使学生网络能够探索自己的最优 解空间，加入判别损失这一更加宏观的标准，使学生网 络在训练过程中具有更多的自主性。
2022-10-26 00:37:54
295
原创 基于YOLOv4的目标检测知识蒸馏算法研究
１）提出多尺度的注意力蒸馏算法 ，指导学生网络的输出使其接近于教师网络的输出，进一步对学生网络生成的特征图进行指导训练，使其能够学习到与教师网络相似的、不同尺度的特征编码方式，从而提高学生网络的检测性能；２）在特征提取层 、目标分类与边框预测上都利用教师网络的“知识 ”指导学生网络训练。提出多尺度像素注意模块（ｍＰＡＭ）来构造特征提取网络的特征注意力图，并同时在目标分类与边框预测上展开蒸馏。
2022-10-25 19:31:28
1002
原创 多尺度特征融合的知识蒸馏异常检测方法文献笔记
本文的STN是要增强其对异常样本表征的输出差异.为此,本文提出多尺度特征融合的知识蒸馏异常检测方法.该方法为学生网络单独设计特征重构模块,打破原有教师网络和学生网络的相似结构,在保证学生网络对正常样本充分学习的基础上,扩大学生网络和教师网络对异常样本的表征差异.为进一步凸显异常区域特征,抑制非异常区域特征,本文方法融合SAM,通过空间注意力权重计算,增大异常与非异常区域的区分度,并在多个分辨率特征图上进行了融合,缺点未对教师网络传授的知识进行过滤,难以保证教师网络传授学生网络知识的准确性.
2022-10-25 00:17:16
1447
2
原创 Web HTML新手小细节
HTML新手小细节善于使用label标签去关联（特别在手机端特别有用）form内的表单项一定要有name（不然提交不了）input标签的type=“tel” 在手机端会打开数字键盘同一组的多选框要用相同的name，不同的valuetype="file"可以通过设置accept="image/gif,image/jpeg"限制上传文件的类型size 的设置： 和，size定义的是可见的字符数。而对于其他类型size定义的是以像素为单位的输入字段的宽度。 设置max
2021-08-11 10:23:30
94
原创 LeetCode算法总结
1.双指针双指针从两头向中间逼近，时间复杂度是O(n)O(n)O(n)然而如果两次从头到尾遍历，时间复杂度是O(n2)O(n^2)O(n2)这好比一条绳子，从两头向中间逼近，就是从两头一起烧，两次从头到尾遍历，就是两次从一头开始烧，当然两头一起烧要快。eg.LeetCode15三数之和...
2021-08-01 17:17:28
104
原创 推荐系统比赛学习
推荐系统模型细节数据划分方法留出法 （二八分）k折交叉验证 （k分，每次取一份作为验证，训练k个模型）自助采样（小数据集！有放回，少用）时序划分（滑窗）要求所有数据划分方法要保证训练集与验证集分布一致数据分析与建模 EDA数据分析两个标签的分布关系是什么？用户的次日存留比例是多少？用户次日继续观看的比例是多少？用户平均观看一部video的花费是多少？最终测试集的用户都有历史行为吗？（可以分不同类型用户建模）建模方法模型一：用户次日存
2021-07-30 17:38:24
285
原创 西瓜书第六章的拓展学习
SVM. 优缺点优点有严格的数学理论支持，可解释性强，不依靠统计方法，从而简化了通常的分类和回归问题；能找出对任务至关重要的关键样本（即：支持向量）；采用核技巧之后，可以处理非线性分类/回归任务；最终决策函数只由少数的支持向量所确定，计算的复杂性取决于支持向量的数目，而不是样本空间的维数，这在某种意义上避免了“维数灾难”。缺点训练时间长。当采用 SMO 算法时，由于每次都需要挑选一对参数，因此时间复杂度为 [n2n^2n2] ，其中 N 为训练样本的数量；当采用核技巧时，如果需要存储核矩阵
2021-07-29 22:44:42
109
原创 leetcode算法避坑
刷Leetcode记录错误写法：while(p->next && p)正确写法：while( p && p->next)必须先检查p是否为空，再检查p->next是否为空，前者是后者成立的条件，前者是后者的前提
2021-07-27 22:39:33
95
原创 西瓜书第五章拓展学习
卷积定义从拉丁语convolvere来看，“to convolve”意味着一起滚动。 出于数学目的，卷积是测量两个函数重叠程度的积分。 将卷积视为通过将两个函数相乘来混合两个函数的方法。卷积网络将图像视为很多层卷; 比如三维物体，而不是仅通过宽度和高度来测量的平面画布。 这是因为数字彩色图像具有红 - 蓝 - 绿（RGB）编码，混合这三种颜色以产生人类感知的色谱。 卷积网络将这些图像输入为三个独立的颜色通道，一个层叠在另一个之上。因此，卷积网络接收一个普通彩色图像，就像一个矩形盒子，其宽度和高度由沿着
2021-07-25 22:09:36
117
原创 关于学习生活看法的维度
熵与热力学本节相关推荐卡罗尔·德韦克《终身成长》维克多·弗兰克《活出生命的意义》熵和热力学第二定律爱因斯坦说，你可以不懂相对论，可以不懂牛顿力学，但是你不能不懂热力学第二定律和熵，因为它真的对指导我们的生活有着巨大的价值。了解熵的原理，其实可以为我们生活中很多的问题提供思考方向，比如说• 为什么挺直腰就可以集中精神？• 为什么运动很重要？• 为什么好音乐能改善我们的生活？• 为什么人不能太安逸？• 应该选择什么样的公司？• 应该选择什么样的城市？熵大家都可能听说过，但是真正想要
2021-07-23 12:19:25
584
原创 西瓜书第四章
组队打卡拓展学习根据西瓜书第四章的拓展1. ID3ID3 算法是建立在奥卡姆剃刀的基础上：越是小型的决策树越优于大的决策树。1.1 思想从信息论的知识中我们知道：信息熵越大，从而样本纯度越低。ID3 算法的核心思想就是以信息增益来度量特征选择，选择信息增益最大的特征进行分裂。算法采用自顶向下的贪婪搜索遍历可能的决策树空间（C4.5 也是贪婪搜索）。 其大致步骤为：初始化特征集合和数据集合；计算数据集合信息熵和所有特征的条件熵，选择信息增益最大的特征作为当前决策节点；更新数据集合和特征集合
2021-07-22 23:46:29
204
1
原创 西瓜书：第三章线性模型
一、线性回归线性回归的基本思想是采用对输入样例各个特征进行线性加权的方式得到预测的输出，并将预测的输出和真实值的均方误差最小化。1）如果输入样例只有一个特征，那这个过程就是用一条直线去拟合平面直角坐标系上的点； 2）如果有两个特征，表现在平面直角坐标系上就是用一条直线将用不同标记（如XX和OO）区分的输入样例分割开来；3）如果有两个以上特征，那就会映射到高维空间，用超平面来分割。对于离散属性，若属性值间存在“序”关系，则可以通过连续化将其转换成连续值；若不存在“序”关系，则有k个属性值，就转换为k维向量
2021-07-20 01:00:02
185
原创 2021-07-14
关于其中几个问题的思考：根据南瓜书作者的建议，一二章简单看下。西瓜书第1章和第2章主要是讲一些基本概念和术语，以下知识点在没有学过后面章节的具体机器学习算法之前较难理解，下面我将其划出来：第1章：【1.4-归纳偏好】可以跳过第2章：【2.3.3-ROC与AUC】及其以后的都可以跳过1 能不能只要训练集和测试集，不要验证集呢？验证集的作用在于模拟测试集，而测试集的最大特点就是「未知」，即在训练过程中是见不到的。正因为验证集和测试集在训练过程中都是未知的，你才可以说，「如果你的超参数适用于验证集，那
2021-07-14 00:44:02
235
转载 NLP-NER命名实体识别
命名实体识别 – Named-entity recognition | NER什么是命名实体识别？命名实体识别（Named Entity Recognition，简称NER），又称作“专名识别”，是指识别文本中具有特定意义的实体，主要包括人名、地名、机构名、专有名词等。简单的讲，就是识别自然文本中的实体指称的边界和类别。命名实体识别的发展历史NER一直是NLP领域中的研究热点，从早期基于词典和规则的方法，到传统机器学习的方法，到近年来基于深度学习的方法，NER研究进展的大概趋势大致如下图所示。
2021-04-28 21:02:43
591
转载 LSTM长短期记忆网络
长短期记忆网络 – Long short-term memory | LSTM什么是 LSTM？长短期记忆网络——通常被称为 LSTM，是一种特殊的 RNN，能够学习长期依赖性。由 Hochreiter 和 Schmidhuber（1997）提出的，并且在接下来的工作中被许多人改进和推广。LSTM 在各种各样的问题上表现非常出色，现在被广泛使用。LSTM 被明确设计用来避免长期依赖性问题。长时间记住信息实际上是 LSTM 的默认行为，而不是需要努力学习的东西！所有递归神经网络都具有神经网络的链式重
2021-04-28 20:55:34
2799
转载 RNN循环神经网络
循环神经网络 – Recurrent Neural Network | RNN卷积神经网络 – CNN 已经很强大的，为什么还需要RNN？本文会用通俗易懂的方式来解释 RNN 的独特价值——处理序列数据。同时还会说明 RNN 的一些缺陷和它的变种算法。最后给大家介绍一下 RNN 的实际应用价值和使用场景。为什么需要 RNN ？独特价值是什么？卷积神经网络 – CNN 和普通的算法大部分都是输入和输出的一一对应，也就是一个输入得到一个输出。不同的输入之间是没有联系的。但是在某些场景中，一个
2021-04-28 20:47:58
679
转载 CNN卷积神经网络
卷积神经网络 – CNN卷积神经网络 – CNN 最擅长的就是图片的处理。它受到人类视觉神经系统的启发。CNN 有2大特点：能够有效的将大数据量的图片降维成小数据量能够有效的保留图片特征，符合图片处理的原则目前 CNN 已经得到了广泛的应用，比如：人脸识别、自动驾驶、美图秀秀、安防等很多领域。CNN 解决了什么问题？在 CNN 出现之前，图像对于人工智能来说是一个难题，有2个原因：图像需要处理的数据量太大，导致成本很高，效率很低图像在数字化的过程中很难保留原有的特征，导致图像处理的准
2021-04-28 20:27:05
490
原创 C++简单面向对象学校管理系统
C++简单学校管理系统关键词一、头文件1.menu.h2.Login.h3.People.h4.Student.h5.Teacher.h二、源文件1.main.cpp2. Student.cpp3. Teacher.cpp4. Login.cpp5. Menu.cpp三.效果图1.登录界面2.添加3.修改4.查看6.保存7.读取txt8.删库跑路关键词类与对象vector容器文件输入输出流排序删库跑路一、头文件1.menu.h//// Created by Asus
2021-01-10 20:05:04
2216
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人