- 博客(8)
- 收藏
- 关注
RSS订阅原创 自然处理语言与bert
一，知识点总览 1，字的表示 2，为了知道上下文，引入了RNN和LSTM 3, 上面的模型，不能并行，速度慢，只能单向（也有双向模型），所以引入Self - attention 4，bert 及其结构二，字的表示 1， 通过把字编码为向量去作为输入，首先考虑One-hot Encoding(独热编码)去表示，但是会产生维度太长，体现不出关系等问题，所以可否将相近的文字放在一起去表示呢，这就有了Word Embedding（词嵌入）,它本质
2025-03-03 21:48:47
1685
原创 深度学习与特征
1，深度学习：就是把我们的输入，转换为一个高维的向量，一定程度上可以理解为编码或者压缩，然后我们才可以用这个特征去分类，回归，或者其他任务，总而言之，我们的的目的是如何更好的提取出特。1，无监督学习：大部分的数据，都是没有标签的，只用数据，不用标签去学习，无监督学习就是让相同的类特征离得更近--把自己和自己的增广图像当作一对，把别人当作敌人，亲近自己，远离别人。5，无监督后做什么：无监督预训练得到模型--下游任务（只需要少量监督数据），可以训练出一个很好的提取特征的模型，提高正确率。
2025-03-03 11:58:59
348
原创 半监督图像分类任务
5，迁移学习：当数据集太小时，可考虑迁移学习，去使用大佬的特征提取器，改变分类头运用到自己的模型，有预训练模型就尽量使用预训练模型，最大原因不是架构有多好，而要是模型训练时所用到的训练集及其庞大，使模型的参数选择更加合理， 站在巨人的肩膀上，迁移参数值， 当迁移学习时，分为线性探测和微调，线性探测即直接使用大佬的模型，完全不改变参数，将梯度设为0，不计算梯度，微调即，在大佬的模型基础上，仍进行参数优化，也更推荐这种方式。后续也会补充无监督相应内容。
2025-03-01 16:00:24
1910
原创 分类任务学习
4，卷积：一种参数共享的不全链接，一个卷积层就是“一个原始的特征图经过多个特征核卷积形成一个新的特征图的过程”，正常来说，每次卷积都减小了特征图尺寸，而padding（Zero padding保证特征图尺寸不变而围一圈的0）当有更大的卷积核时，卷积就拥有更大的感受野，当有更多的卷积核层数，卷积核厚度可能会发生变化，需要注意的是：特征图有多深，卷积核就必须有多深，且卷积核的参数量就是一层卷积的参数量。1，区别：回归（找条线，模拟已有的数据分布），分类（找条线，把不同数据类别分隔开）四，基本的分类神经网络。
2025-02-25 20:19:56
465
原创 回归实例（新冠病毒预测人数）
Model类：包含init初始化函数（搭建函数框架），forwad函数（规定数据怎么 通过），维度变化，上一层的输出，一定是下一层的输入，通过继承，定义一 个简单的神经网络模型，利用PyTorch提供的各种工具功能来构建，训练，并 在最后去检查张量的维数，从而简化，获得所需要的。
2025-02-19 18:45:15
1542
原创 深度学习--线性表示代码
由给予的数据和标签及预测模型，每轮通过由预测值和标签的差值loss均值，不断更新预测模型的权重w和偏差b，从而构建出符合的线性模型。
2025-02-13 21:32:04
316
原创 多层神经网络
（梯度下降，可能会及其复杂，深度学习就像一个黑匣子，我们不需要知道他的推导过程，只要最后结果正确就可以）1，接上文，要想实现更复杂的运算，就需要更复杂的神经网络。（但是如果串联的神经元只有传递的作用，那么一根和多根似乎没有区别）（另一个角度理解拟合和激活函数（平移，翻转，叠加成新的函数））2，神经网络的可训练参数（可变的）3，深度学习的训练过程（梯度下降）1，神经元类似于人类大脑神经。1，神经网络矩阵的不同表示方法。（每次传递时，神经元有一定自己的决定权（1，代码演示（数学公式）（激活函数与非线性因素）
2025-02-08 16:37:22
231
原创 机器学习与深度学习
序列：表示前后是有关系的，序列问题的不同，在于你要对前后的事务，都有所把控，比如视频，你不能只知道当前帧的信息，还得记得前面的，一句话就是每个字（内容）单独拎出来，你不知道意思，只有放在句子里，才知道它的含义。1，一般是基于数学，或者统计学的方法，具有很强的可解释性（具有数学上的可解释性，但准确率不是百分百，且不灵活）4，想要的输出（任务类别）一般也有下面几种（回归任务，分类任务，生成任务）3，常见的神经网络输入，一般有三种（向量，矩阵/张量，序列（*））二，人工智能，机器学习，深度学习三者关系。
2025-02-07 16:13:54
502
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人