- 博客(11)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 Swin-Tranformer
SwinTranformer在多项任务中表现很好，SwinTranformer进行了分层处理下采样的同时特征图翻倍。patch embedding可以通过更改卷积大小，实现不同大小的输入。window_partition就是对图片进行reshape操作，将特征图按照窗口大小划分（3,64,3,49,32）qkv三个矩阵，64个窗口，每个窗口由7*7=49个token组成，每一个token由3头注意力机制来搞定的，每一个头解决32维的向量。
2024-12-23 23:18:07
177
原创 Transformer基础知识
忽视词序信息、难以处理多义词、无法捕捉长距离依赖关系、对新词和低频词的表现较差、词向量难以解释、对上下文敏感度较低。注意力机制得到每个词与序列中其他词的关系，但当该词处于一句话中的不同位置得到的权重应该不同。Decoder是一个词一个词输出， 可以对已出的词进行计算，但对未预测的图进行mask。对开始和结束 特征向量，与通过注意力机制后的结果做内积得到问题回答的开始和结果位置。将q1与每一个k的分值转换成概率 ，表示当前词对序列中每一次的关系。其中的位置编码是采用余弦正弦的周期信号。
2024-11-04 22:14:13
269
原创 轨道交通信号与控制基础概念
城市轨道交通信号系统是指挥列车运行，保证列车安全，提高运输效率的关键设备。信号系统通常由列车运行自动控制系统和车辆段信号控制系统两 大部分组成，用于列车进路控制、列车间隔控制、调度指挥、信息管理、设备工况监测及维护管理等，由此构成了一个高效的综合自动化系统。
2024-11-03 23:17:53
1139
原创 大模型总结
从数据本身找标签，不需要额外提供label，例如语言模型。没有明确目的，从数据分布角度构造损失函数，例如聚类利用少量有标签的数据和大量无标签的数据来训练网络，让学习器不依赖外界交互、自动的利用未标记的样本提升学习性能，就是半监督学习。通常指参数较少、层数较浅的模型，它们具有轻量级、高效率、易于部署等优点，适用于数据量较小、计算资源有限的场景，例如移动端应用、嵌入式设备、物联网等。是指具有大量参数和复杂结构的机器学习模型，能够处理海量数据、完成各种复杂的任务。
2024-10-22 20:08:30
926
原创 一些环境配置注意事项
找到想要安装的torch及对应的cuda，（比如我要下载cuda10.2的torch），选中cuda10.2对应的torch（如果没有想要的，查看以前版本torch），复制pip安装的命令，激活虚拟环境输入命令安装即可。注：不必在意base环境下的cuda版本，激活虚拟环境后通过pip指令安装torch就会对应安装该版本的cuda。可以使用如下指令在虚拟环境下查询当前cuda版本。进入pytorch官网，
2024-07-29 22:43:57
425
原创 Mask R-CNN网络结构
Mask R-CNN主体结构还是Faster R-CNN，后端并联了一个mask分支Mask R-CNN有两种：一种不带FPN特征金字塔结构的，一种带FPN的，现今以采用FPN结构的为主。
2024-05-13 19:11:23
1301
原创 FPN网络结构细节
针对每一个骨干网络上的特征图进行1´1的卷积处理，目的是为了调整不同特征图的通道数，因为不同层次上的特征图通道数是不同的，一般越来越多。针对每一个骨干网络上的特征图进行1´1的卷积处理，目的是为了调整不同特征图的通道数，因为不同层次上的特征图通道数是不同的，一般越来越多。在FPN中可以针对不同特征层预测不同尺度的目标，而Faster R-CNN中所有的不同面积不同比例的Anchor都在一个特征图预测。对于上一层的特征图进行二倍的上采样，即插值，保证了融合上层和下层的特征图高和宽一致。
2024-05-11 19:33:28
313
1
原创 R-CNN Fast R-CNN Faster R-CNN的差异性
R-CNN包括Region proposal(Selective Search)、Feature extraction、Classification（SVM）、Bounding-box regression(regression)四个部分。Faster R-CNN是端对端的网络，Region proposal、Feature extraction、Classification、Bounding-box regression四个部分均融合在CNN网络中。
2024-05-11 17:08:08
295
1
无线传感器网络在风力发电中的 应用研究
2019-04-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人