- 博客(12)
- 收藏
- 关注
RSS订阅原创 深度学习扩展
—把图片离散化为一排向量将图片拆为若干patch，每个patch可以看作一个字，再加上位置信息就可以输入到transformer中。ViT的核心是将图像视为一系列局部块的序列（类似自然语言中的单词），通过Transformer的全局自注意力机制捕捉图像中的长距离依赖关系。将输入图像（如224×224）分割为固定大小的非重叠块（例如16×16像素），每个块展平为向量。例如，224×224的图像会生成196个（14×14）块。
2025-02-27 19:50:14
999
原创 Bert实战—听课笔记
这是下游的文字分类任务。bert就是一个特征提取器，在上游进行MLM和NSP预训练，之后bert就可以从句子中提取特征，做分类任务。
2025-02-27 11:46:07
404
原创 EXCEL基础操作
1.养成好习惯，对源数据要备份2.看量级3.ctrl+shift+L：快速筛选4.1.：UV指的是在一定时间范围内访问某个网站或页面的独立用户数。。用途：UV反映了网站的独立访问人数，因此它能帮助网站分析其用户群体的大小。这个指标是衡量网站吸引力、用户活跃度和潜在市场规模的重要指标。计算方法：通常通过用户的IP地址、浏览器标识符或者登录账户等信息来识别独立用户。4.2.：PV指的是网站页面被浏览的次数。。
2025-01-08 18:52:04
1763
原创 1.6学习日记
1.Conv2d就是卷积，其参数依次为：输入特征图的数量、输出特征图数量（即卷积核数量）、卷积核大小、步长、padding。4.归一化：避免受数据量纲影响，让模型关注数据的分布，保持学习有效性，缓解梯度消失和梯度爆炸。1.rule：计算方便、可以在一定程度上缓解梯度消失。2.pool（3，2）表示3格一pool，每次走2格。一、一般将softmax()的输出视作模型预测的概率分布。需要的参数：预测的分布、真实值的下标。2.用小卷积核代替大的卷积核。二、分类任务的Loss：交叉熵损失。
2025-01-06 21:10:47
366
原创 1.5学习日记
I：输入特征图大小；P：padding；S：步长stride。2.怎么让特征图变小？【不常用，会丢失信息且引入计算】一、今天学了分类任务。
2025-01-05 21:53:14
188
原创 1.4学习日记
能够预测到好的y。根据预测值y‘与真实值y的差值不断训练模型，使最终能够预测得到比较好的y。一、把实战班第三节下终于看完了，但是代码也是似懂非懂的。
2025-01-04 21:42:14
171
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人