- 博客(145)
- 收藏
- 关注
RSS订阅原创 领域词性标注
感知机算法属于在线学习，每次参数更新只使用一个训川练实例，并没有考虑整个数据集：条件随机场的每次的参数更新是考虑全局的：感知机奖励正确答案对应的特征函数，但仅仅惩罚错的厉害的那一个特征函数：条件随机场不但奖励正确答案对应的特征函数，还同时惩罚所有的答案。我们使用了隐马尔科夫模型、感知机和条件随机场模型进行了我们的模型训练并且分别使用三种模型训练的模型进行我们的数据测试，最后我们应用感知机模型在我们的领域词性标注的系统框架中。假设②任意时刻的观测xt只依赖于该时刻的状态yt,与其他时刻的状态或观测独立无关。
2024-05-06 21:31:20
775
原创 机器翻译综述
机器翻译是自然语言处理和人工智能的重要研究领域，研究如何利用计算机自动地实现不同语言之间的相互转换，也是互联网上常用的服务之一。谷歌翻译、百度翻译和微软必应翻译都提供多种语言之间的在线翻译服务。尽管机器翻译与专业翻译人员在翻译质量上仍存在较大差距，但在一些对翻译质量要求不高的场景中，或在特定的翻译任务中，机器翻译在翻译速度上具有明显优势，并且仍被广泛使用[10]。鉴于机器翻译的复杂性和应用前景，它已成为自然语言处理领域中最活跃的研究领域之一。自20世纪30年代成立以来，它取得了突破。
2024-05-06 21:27:45
1379
原创 自然语言处理笔记 第七章 命名实体识别
音译人名：若检测到连续的一些词语的备选词性中有“音译人名”这一项，则将这些词语合并，词性确定为“音译人名”。该框架的识别思路与日本人名的思路类似：为构成命名实体的短词语打标签，标签序列满足某种模式则识别为某种命名实体。命名实体识别模块的输入是分词模块的输出，两个模块都由隐马尔可夫模型驱动，所以称为~在一些语料库中，由复合词组成的实体会被分开，需要一个专门的命名实体识别模块。对于较短的命名实体，可以通过分词确定边界，通过词性标注确定类别。1、命名实体识别：识别出命名实体的边界和类别的任务。
2024-05-06 21:25:08
371
原创 自然语言处理笔记 第六章 词性标注
1、朴素实现：基于词典的规则系统，用户将自己关系的词语以及自定义词性以词典的形式挂载。然后与小型词性标注语料库上的词性标注模型组合为一个流水线式词法分析器。词性：动词，名词等 所有词性的集合称为词性标注集。词性标注可以作为分词的后续任务，也可以与分词合并成一个任务。2、标注语料：标注一份语料库，然后训练一个统计模型。通过统计模型，根据上下文语境判断一个词的词性。用途： 遇到OOV时，通过OOV的词性猜测其用法。中文分词语料库远远多于词性标注语料库。自定义词性：将特定的一些词语打上自定义的标签。
2024-05-06 21:24:26
162
原创 自然语言处理笔记 第五章 条件随机场与序列标注
生成式模型的学习收敛速度更快，当样本容量增加时，学习到的模型可以更快的收敛到真实模型，当存在隐变量时，依旧可以用生成式模型，此时判别式方法就不行了。条件随机场是用来标注和划分序列结构数据的概率化结构模型（图模型）。结合了最大熵模型和隐马尔可夫模型的特点，是一种无向图模型。最大团：满足所有节点相互连接的最大子图，图中最大团是全部的三个节点。，不能反映训练数据本身的特性，但它寻找不同类别之间的最优分裂面，无向图模型将多维随机变量的联合分布分解为一系列最大团中的因子之积。生成式模型学习的是联合概率密度分布。
2024-05-06 21:23:56
333
原创 自然语言处理 第四章 感知机分类与序列标注
而结构化预测的输出复杂得多，是有结构的输出，比如，一个序列，一个句子，一个图，一颗树。以前讨论的都是批量学习，就是给了一堆样例后，在样例上学习出假设函数h。特征向量的每个维度代表一个特征，如上面例子就是onehot：两个特征、二维向量。（1）投票感知机：储存多个模型，预测时每个模型都给出各自的结果，加权取平均：准确率（权重）*模型结果。（2）平均感知机是取多个模型的权重的平均，不需要保存多个模型，只需要保留平均后的模型。因此：长词适合在词典中加入，短的易引发歧义的词，通过标注语料库，训练模型解决。
2024-05-06 21:23:12
363
原创 自然语言处理笔记 第三章 隐马尔科夫模型与序列标注
之后人们提出{B,M,E,S}这种最流行的标注集：汉字分别作为词语首尾（Begin、End）、词中（Middle）以及单字成词（Single）不同的标注集可用于不同功能，如用于词性标注的POSTagSet、用于命名实体识别的NERTagSet等。语料转换：将语料转换为(𝒙,𝒚)二元组才能训练隐马尔可夫模型，因此需要将一个句子转换为二元组。因为状态有N个可能的取值，所以矩阵为N*N。二阶隐马尔科夫模型：如果隐马尔可夫模型中每个状态依赖于前。序列外界不可见，称为状态序列（隐状态）。和观测序列x，求最大概率y。
2024-05-06 21:20:30
310
原创 自然语言处理笔记 第二章 二元语法与中文分词
（4）(0,1)的浮点数连乘会发生下溢出（P0），对概率取负对数，将浮点数乘法转化为负对数之间的加法：最长路径问题转化为负对数求和的最短路径问题。马尔可夫假设：有一串事件顺序发生，假设每个事件的发生概率只取决于前一个事件，这串事件构成的因果链被称作马尔可夫链。集成：将这个语料库（ ）的分词结果与用户词典（始终存在的核心大模型，存了一堆一元词）融合。由于每次计算只涉及连续两个单词的二元接续，此时的语言模型称为二元语法模型。第i行中长l的单词与第i+l行的所有单词互相连接，构成一个“词图”
2024-05-06 21:19:21
547
原创 自然语言处理(NLP)笔记 第一章 词典分词
例：节点7---his继续匹配，匹配失败后，节点3的状态---s，是his在表上的最长后缀；节点5---she继续匹配，匹配失败后，节点2的状态---he是she在表上的最长状态。通过循环依次匹配key[i]和b，匹配成功则令当前状态b=本次匹配成功后的状态p。状态转移：向父节点询问该字符与子节点对应边（边上存储字符的整型值）的关系，若存在满足条件的边，则转移状态到子节点。base[s]+c：s状态+c（s的前缀加c）得到了t状态。（p=最终状态b的前缀+结尾状态\0）（注意，这里的p。
2024-05-06 21:17:21
699
原创 信息安全笔记 第三章 网络防御手段
以无线电通信为例：起初无线电是在一个固定的频率通信，攻击者只要找到这个频率就可以实现监听和干扰。包过滤型防火墙：第一代防火墙，由路由器硬件实现，速度快。应用代理型防火墙：第二代防火墙，检查所有应用程序的数据包，速度慢对系统资源要求高。给攻击者提供一个容易被攻击的系统，诱导黑客攻击，从而学习黑客的目的和手段。蜜罐是静态不动的，加之反蜜罐技术盛行，该技术没有像以上三者那样广泛使用。状态监测防火墙：第三代防火墙，结合前两种的特点优点。没有绝对的安全，只有绝对的不安全。新技术蜜罐：动态蜜罐，列阵蜜罐，拟态蜜罐。
2024-05-06 21:13:39
277
1
原创 信息安全笔记 第二章 系统攻击技术
跨站脚本攻击（XSS）是一种针对动态脚本网站的攻击，目的是盗窃管理员的 session（存储在服务器）和coockies（存储在客户端）。引导型病毒：计算机启动需要一个系统引导区，病毒占用该区域，并将原本该区域的代码移到其他位置。前者是自启动的配置文件，会启动后者，后者起到病毒的效果。消息会在网络中传播，给所有声明自己是D的主机。查看宏的存储位置，如果在本机文档是好的宏，如果在公用模板normal.dot大概率是宏病毒。木马的分类：TCP木马（最早出现的木马），UDP木马，ICMP木马（能穿透防火墙）
2024-05-06 21:12:46
549
原创 信息安全笔记 第一章 信息安全概述
信息安全发展历史：通信安全阶段（标志：香农信息论），计算机安全阶段（美国计算机准则），因特网安全阶段（蠕虫病毒），物联网安全阶段（伊朗核电站被攻击）IP协议（网络互联协议）：网络层协议，因特网最重要的协议，屏蔽不同帧之间的差异，使网络互联成为可能。TCP/UDP协议（传输控制协议/用户数据报协议）：传输层协议，提供可靠/不可靠的传输。ICMP协议（因特网控制报文协议）：网络层协议，传输控制信息。网络防护手段：漏洞修复，信息隐藏，防火墙，入侵检测，入侵躲避，蜜罐，主动防御。数据的不安全性：棱镜门事件；
2024-05-06 21:11:03
505
1
原创 基于流标特征的DdoS攻击检测技术
数据预处理数据集采用的是CICDS2017和CICDDoS2019，总流量条数超过200万。使用Scapy库中的rdpacp()方法将其数据格式转换为csv格式，为流量分类并打上标签，0表示正常流量，1表示SYNflood流量。使用sklearn的preproccessing库处理训练使用的原始数据集。在这样较大的数据集中难免会出现一些错误的数据，因此要进行数据清洗，删除一些明显无意义的特征列或特征值缺失大于2/3的数据。
2024-05-06 21:08:53
1642
1
原创 目标检测论文阅读 YOLO You Only Look Once:Unified, Real-Time Object Detection
预训练使用224*224的图像训练ImageNet，预训练好后使用预训练网络的前20个卷积层+平均池化层+全连接层，（其他论文说明：在预训练的网络中同时添加卷积层和连接层可以提高性能）再加4层卷积和2层全连接(随机初始化权重)去训练检测任务，输入大小为448×448。利用图像的宽和高对box的宽和高做归一化，使其介于0和1之间(box的宽高/原图像的宽高)。（3）此外，小的bbox的偏差应当比大的bbox同尺寸的偏差影响要大，解决方法：使用bbox的宽和高的平方根来计算，而不是宽和高本身。
2024-04-27 11:37:34
751
原创 目标检测论文阅读 Mask R-CNN
然后把p5上采样，得到256*50*76，这个p5上采样结果加上res4的1*1卷积结果，得到256*50*76，再来个3*3卷积得到p4。如此一来，FPN的输出即为：[p2: 256*200*304, p3: 256*100*152, p4: 256*50*76, p5: 256*25*38, p6: 256*13*19]。这两个都是用在rpn之后的。图像中存在不同大小的目标，而不同的目标具有不同的特征，所以我们需要特征金字塔来利用浅层的特征将简单的目标区分开，利用深层的特征将复杂的目标区分开。
2024-04-27 11:20:33
927
原创 目标检测论文阅读 Cascade R-CNN: Delving into High Quality Object Detection
但问题在于，迭代过程中建议质量不断提升，而迭代检测始终使用同一个检测器H1，由上面的曲线图可知，一个检测器对于不同质量的ROI并不始终是最优的；论文该图分别展示了在IoU阈值为u = 0.5、0.6、0.7时训练的三个检测器的定位和检测性能：高IOU训练的检测器在输入高IOU样本时表现相对更好，反之亦然。如图d所示，训练检测器时简单地采用更高的预设值u并不能提升检测准确性，反而可能降低，这是因为区域提案倾向生成低质量的建议，提升u会导致正样本数量指数下降，导致严重的的过拟合。：设置的IOU阈值u的高低。
2024-04-26 22:24:15
483
原创 目标检测论文阅读 Faster RCNN
（2）通过RPN网络从feature map得到候选框ROIs/proposal（约2000个），计算每个ROI和gt之间的iou，通过人为的设定一个IoU阈值（通常为0.5）对ROIs进行二分类，判别候选框内容是正样本（前景）还是负样本（背景），并对这些正负样本采样，使得他们之间的比例尽量满足（1:3，二者总数量通常为128），通过回归微调前景的BBox与标注gt接近。RPN网络的输入是CNN得到的feature map，RPN在feature map上用3*3的滑动窗得到对应原图的多个候选框。
2024-04-26 22:22:35
2002
原创 目标检测论文阅读 Fast R-CNN
图像分类任务中，用于卷积层计算的时间比用于全连接层计算的时间多，而在目标检测任务中，selective search算法提取的建议框比较多（约2k），几乎有一半的前向计算时间被花费于全连接层，就Fast R-CNN而言，RoI池化层后的全连接层需要进行约2k次（每个建议框都要计算），因此在Fast R-CNN中可以采用。哪些网络层需要微调？图像金字塔化的一般步骤：首先，图像经过一个低通滤波器进行平滑（这个步骤会使图像变模糊，好像模仿人的视觉中远处的物体没有近处的清晰的原理），然后，对这个平滑后的图像进行。
2024-04-26 21:57:47
845
1
原创 目标检测论文阅读 SPPNet Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition
多尺寸训练的主要目的是在保证已经充分利用现在被较好优化的固定尺寸网络实现的同时，模拟不同的输入尺寸，并不必要。另外，输入的图像中的对象的尺度可能变换（如两张相同尺寸的图像，一张是某人的合影，另一张的该人的证件照），这会导致预定义的网络参数不再适用。单尺寸训练并非SPPnet所特有的（没发挥出SPP层的作用），以往的图像识别算法如RCNN也可以，作者使用单尺寸训练的目的是测试SPP层对CNN的影响。多尺寸训练的主要目的是在保证已经充分利用现在被较好优化的固定尺寸网络实现的同时，模拟不同的输入尺寸。
2024-04-26 21:49:11
981
1
原创 目标检测论文阅读 RCNN Rich feature hierarchies for accurate object detection and semantic segmentation
在实际应用中，通常是选取固定大小的滑动窗口来提取HOG特征，对于一个64×128的图像窗口，每8×8个像素组成一个cell，每2×2个cell组成一个block，一共有105个block，因此该图像的窗口特征维数为105×36=3780。首先，你需要随机初始化参数，然后开始训练网络，不断调整直到网络的损失越来越小。由于事先并不知道物体在图片的哪个位置，为了避免漏检，我们应该对图片中尽量多的 region 进行搜索，于是有了暴力搜索算法：定义多个大小不同的窗口，在图像上滑动检测，但是这种方法的复杂度极高。
2024-04-26 21:45:01
805
1
原创 随机过程 第七章 高阶概率转移
当马尔科夫链极限分布存在，它的遍历性表示一个系统经过相当长时间以后达到平衡状态，此时系统各状态的概率分布不随时间而变，亦不依赖于初始状态。如果qij已知（通常可以根据过程的统计性质确定), 附加上初始条件pij(0)=δij,就可以解出pij(t)平稳分布：任意时刻n，链的绝对概率分布都等于初始概率分布。步转移概率，当n>=2时，pij(n)称为高阶转移概率。它刻画马尔科夫过程的转移概率函数在零时刻对时间的变化率。步转移概率矩阵 P(n) 是随机矩阵。代入柯尔莫哥洛夫向前方程。后面解方程就算了..
2024-04-26 21:13:18
358
原创 随机过程 第六章 泊松过程、平稳时间序列、马尔科夫过程
在足够小的时间内出现一个质点的概率与时间成正比，而在很短的时间内出现的质点数不少于2个的概率是关于时间的高阶无穷小。马尔科夫过程：马尔科夫过程是无后效性的随机过程，即下一时刻的状态tm+1只与当前状态tm有关，与之前的状态无关。与转移起始时间n无关仅与转移出发状态 i、转移步数 k、转移到达状态 j 有关的马尔科夫。马氏链的状态转移图 状态转移图上标上概率就是概率转移图。马尔科夫链（时间离散，状态离散的马尔科夫过程）过程是具有独立增量和平稳增量的计数过程。用Tn表示第n次时间发生的时间，如。
2024-04-26 21:12:14
740
原创 随机过程 第五章 时平均、时相关函数
（之前用固定时刻t1的若干样本求的mx、Rx称为集平均、集相关函数；下面用不同时刻样本求得的、Rxτ称为时平均、时相关函数）当时间间隔无限变大时两个状态线性联系无限变弱的平稳过程具有数学期望各态历经性。谱密度的性质：谱密度Sx(W)是实的、非负的偶函数。一个平稳过程需要加什么条件才能具有各态历经性呢？相关函数的谱分解，是指把它表示成傅里叶积分的形式。非周期信号可以表示为正弦信号的加权积分。用积分法计算相关函数和谱密度。用查表法计算相关函数和谱密度。，1/2π）都是傅里叶对。以概率1成立/始终成立。
2024-04-26 21:10:46
309
原创 随机过程 第四章 随机过程的分类
即宽平稳过程是其均值函数为常数，且自相关函数仅与时间间隔有关(与初始时间无关)的二阶矩过程。严平稳过程不一定是宽平稳的，但二阶矩过程的严平稳一定是宽平稳的。严平稳过程：产生随机现象的主要因素不随时间而变。严平稳过程的数字特征 const:常数。正态过程的严平稳和宽平稳等价。齐次随机过程/平稳增量过程。（符合平稳过程定义的随机序。平稳过程相关函数的性质。列称为平稳随机序列）宽平稳也不一定严平稳。
2024-04-26 11:05:26
313
原创 随机过程 第三章 随机过程的数字特征与特征函数
（1）随机过程的均值函数m(t)表示的是随机过程X(t)在时刻t的理论平均值；m(t)是一条固定的曲线，样本曲线在m(t)附近波动。
2024-04-26 11:03:02
278
原创 随机过程 第二章 特征函数与随机过程定义
当e确定时，X(e,t)是t的函数；当t固定时，X(e,t)是随机变量，样本空间为{cosπt，t}反之，若一个有限维分布族满足对称性相容性则它必是某个随机过程X(t)的有限维分布族。常见分布的特征函数：特征函数是由其分布函数唯一确定的，反之亦然。随机过程的分布函数族。
2024-04-26 11:01:22
389
原创 概率论 part3
连续性也一样，只不过把第一步样本点对应的概率相乘改成样本点对应的概率密度相乘。二维随机变量求期望和方差：先求出各自的边缘分布，然后就能求了。极大似然估计 已经出现的，就是最有可能出现的。中心极限定理： 用正态分布近似一般的分布。数学期望 期望：随机变量取得的平均值。矩估计 利用样本矩估计总体中响应的参数。方差： 随机变量距离中心位置的离散程度。X的取值*取该值的概率密度，积分。X的取值*取该值的概率，求和。二维离散型随机变量函数的分布。二维连续性随机变量函数的分布。二维连续性随机变量的分布。
2024-04-26 10:53:58
178
原创 概率论 part2
一般的正态分布可以转化成标准正态分布，标准化正态分布的F看做已知的，不用计算。若XY相互独立，则XY的某个联合分布等于对应的边缘分布的概率相乘（充要条件）连续性随机变量某个点的概率为零，也正因此，求区间概率不用注意是否包含端点。概率第二条：应该是P(X>a)=p(X>=a)=1-F(a)x趋近于负无穷时Fx趋近于0，x趋近于正无穷时Fx趋近于1。因为：别忘了这是分段函数，x0的式子。联合分布律：X取某一值、Y取某一值时的概率。边缘分布律：X或Y取某一值的概率。
2024-04-26 10:51:51
342
原创 概率论 part1
实验结果不止一个，实验能得到所有可能的结果。样本空间的划分/完备事件组：一组事件交为全集（样本空间），两两相并均为空。吃一种米饭和一种馒头（没规定顺序）：A21*C31*C41。实验进行前，结果未知。一个随机试验E可能产生的所有结果的集合称为样本空间Ω。例2：求一副扑克牌中抓四张，四张花色各不相同的概率。古典概型：样本空间有限，所有事件发生概率均等。例1：样东西的概率： 有三种米饭，四种馒头。先吃一种米饭再吃一种馒头：C3|1*C4|1。使用条件：A事件可以被B事件分割。吃一种米饭或者一种馒头：3+4。
2024-04-26 10:50:27
365
原创 数字图像处理 第七章 图像恢复
自适应中值滤波器：全局中值滤波在脉冲噪声太大的时候不好用，不能在处理非脉冲噪声的同时又保留细节。而自适应中值滤波可以处理更大的密度，并且自适应中值滤波能够在平滑非脉冲噪声时，保留细节。周期噪声：在频域估计N(u, v)，直接去掉，变换到空间域。H的特性：线性，相加性，一致性，位置不变性。有约束恢复：维纳滤波和最小二乘法恢复。
2024-04-24 11:51:00
196
原创 数字图像处理 第六章 形态学图像处理
（功能：原点在结构元素B中，收缩图像；原点在结构元外，腐蚀可以用作填充内部空洞）。闭操作：消弥狭窄的间断和长细的鸿沟，消除小的孔洞，并填补轮廓线中小的断裂。处理二值图像，提取对于描绘和表达形状有用的图像成分。开操作：断开狭窄的间断和消除细的突出物。（X0=1） 用B膨胀种子，与A求交。腐蚀的作用说白了就是让暗的区域变大。而膨胀的作用就是让亮的区域变大。不断细化直到结果不发生变化。
2024-04-24 11:50:19
294
2
原创 数字图像处理 第五章 彩色图像处理
③频域滤波：对原来灰度图像中的不同频率分量（可分别借助低通，带通/带阻，高通滤波器获得）赋予不同的颜色。③平滑：对HSI模型中的I通道进行平滑，H和S通道不处理，颜色没有变化。①彩色强度增强：HIS：对I分量进行增强；RGB：三个分量都增强。I对应成像亮度和图像灰度，与图像的彩色信息无关。三补色：蓝绿(C)，品红(M)，黄(Y)对灰度图像中不同灰度值的区域赋予不同的颜色。H：色调，S：饱和度，I：密度/强度。不同颜色的光实质是不同频率的电磁波。②直方图处理：均衡化I分量。
2024-04-24 11:48:48
393
3
原创 数字图像处理 第四章 图像分割
先用一个平滑的曲面与待检测点周围某区城内像素的灰度值进 行拟合，然后用这个平面或曲面的梯度代替点的梯度，从而实现 边缘检测。先对图像进行局部线性拟合，然后再用拟合所得的光滑函 数的导数来替代直接的数值导数。形式化定义：令集合R代表整个图像区域，对R的分割可看作将R分成若干个满足以下条件的非空子集。梯度算子：图像经过梯度运算能灵敏地检测出中边界，而克服导数运算的方向性，但是梯度运算比较复杂。定义：按照一定的规则将一幅图像分成各具特性的区域，并提取出感兴趣目标的技术和过程。因此：边缘检测之后，需进行边缘连接。
2024-04-24 11:47:53
326
原创 数字图像处理 第三章 频域处理
高通和低通滤波器对图像进行处理，都是在整个图像的频率矩阵上操作，但在很多应用中，我们感兴趣是处理指定的频段或频率矩形的小区域，因此需要使用选择性滤波。为了减少光照的影响，增强图像的高频部分的细节，我们可以使用同态滤波来增强对比度，增强细节。为了提高计算速度，提出了计算对象是实数的变换，如离散余弦和沃尔什变换。平滑滤波器：图像的噪声对应傅里叶的高频，需要设法削弱这部分频率分量。信号在时域是一个周期且连续的函数，在频域是一个非周期离散的函数。理想低通滤波器：将大于D0的频率屏蔽，小于D0则不受影响。
2024-04-24 11:46:33
267
1
原创 对比学习论文阅读 SimSiam Exploring Simple Siamese Representation Learning
论文发现孪生网路可以在1没有负样本2没有大批量3没有动量编码器 （只通过禁止梯度回传）的情况下学习到特征表示。文章中最重要的概念是Stop-gradient梯度停止/禁止梯度回传。层：BN有助于训练优化，这与监督学习中BN的作用类似；损失函数：SimSiam的有效性不依赖于对称损失，只是论文设计的对称损失函数更加有效。去除sg，果然崩溃导致了退化解，后续作者还用实验证明退化解是“崩溃”导致的。，总损失是所有图像损失的平均，故最小的可能损失为-1。预测头：移除，则崩溃。---称为对称损失。
2024-04-24 11:42:05
316
1
原创 对比学习论文阅读 BYOL Bootstrap Y our Own LatentA New Approach to Self-Supervised Learning
因此一个自然的想法是我们不仅仅要拉近相同数据的特征距离，也要拉远不同数据的特征距离，换句话说就是不仅要有正样本对，也要有负样本对，这确实解决了训练崩塌的问题，但是也带来了一个新的问题，那就是对负样本对的数量要求较大，因为只有这样才能训练出足够强的特征提取能力，因此我们可以看到这方面的代表作如SimCLR系列都需要较大的batch size才能有较好的效果。，τ取0.99效果优）进行参数更新。就是这样做的，并且取得了非常好的效果。（BYOL的双网络中，目标网络的参数不是固定了，而是慢动平均的，借鉴moco）
2024-04-24 11:41:00
429
1
原创 对比学习论文阅读 MOCO Momentum Contrast for Unsupervised Visual Representation Learning
以此满足字典要尽可能大的要求。第二次迭代与第一次相同，唯一不同的是，此时队列里已经有了key0，就可以计算logits_neg，总的logits（NX(1+K)）就是将logits_neg和logits_pos拼接，接着计算loss，更新编码器q的参数，直到所有的负样本特征输出完全入队列，这里的队列大小为65536，因为batchsize设置为256，所以要迭代65536/256=256次才能将队列占满。是当前时刻的输入，实质就是不想当前时刻的输出完全依赖于当前时刻的输入，也希望继承之前的输出的信息。
2024-04-24 11:40:02
2024
1
原创 对比学习论文阅读 simCLR A Simple Framework for Contrastive Learning of Visual Representations
但是当batch size很大的时候，学习率增加太大会导致学习不稳定，尤其是在训练早期阶段，如果学习率太大，则参数可能在错误的方向上更新很多，从而导致模型最终的表现很差。作者从以上观察出发得出结论，既然并不是所有层的ratio比较小，那么各个层的更新参数使用的学习率应该根据自己的情况有所调整，而不是所有层使用相同的学习率。之前主流的用来缓解该问题的方法是学习率warm-up，在训练的前几个周期，从一个比较小的学习率开始，线性增加到最终使用的学习率。（SGD属于离线学习，BGD、MBGD属于在线学习）
2024-04-24 11:37:42
798
1
原创 数字图像处理 第二章 空域增强技术
缺点：总是用均匀分布来近似目标图像直方图，增强效果不易控制，总是得到全局均衡化的直方图。比较一个模版覆盖区域里的中心像素值与该区域里的最大值和最小值，然后将中心像素值用其接近的极值（最大或最小值）所替换。步骤：将模板中心与像素位置重合，读取对应像素的灰度值，将灰度值从小到大排列，将中间值赋给模板中心位置像素。扩大像素灰度值的动态范围，增强图像整体对比度。使用该变换函数来映射该区域的中心象素的灰度，移动区域中心，重复上述步骤。利用像素本身以及其邻域像素的灰度关系进行增强的方法常称为滤波。
2024-04-24 11:34:04
526
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人