- 博客(8)
- 收藏
- 关注
RSS订阅原创 复试深度学习
2.一致性正则化：对无标签数据进行数据增广（旋转，裁剪，放大），生成多个增强版本，先用有标签数据训练项目，再对无标签数据和其增广进行预测，通过一致性正则化，添加到损失函数中，提升了模型的鲁棒性和泛化能力。1.伪标签：用有标签数据训练，利用模型对无标签数据进行预测，取置信度高的打上伪标签，将有标签和伪标签数据加入训练。1、按比例抽样，按照数据集中的有无标签数据的比例进行抽样，同时在初期训练时多用有标签数据，后期训练多用无标签数据。1、在处理有标签数据和无标签数据时，你是如何平衡这两类数据以提高模型性能的？
2025-03-28 22:54:31
208
原创 通义模拟面试（408）
线程是进程内基本执行单元，是操作系统能调度的最小单元，线程共享进程里的资源，如内存地址空间和打开文件等。当您想要存储一个元素时，首先通过哈希函数计算该元素的键值对应的哈希码，然后根据这个哈希码确定元素在数组中的存储位置。常见方法：死锁检测与回复（定期检查，如果有死锁，采取回复措施）、死锁预防（限制资源分配）、死锁避免（分配前进行安全性检查）。TCP：面向连接、可靠性高、滑动窗口进行流量控制、有序交付、开销大。UDP：无连接、不可靠、低延迟、无流量控制、开销小。互斥条件、占有并等待、不可剥夺、循环等待。
2025-03-28 19:07:51
157
原创 第三节：python基础
tensor 张量（tensor）------可以进行计算，求梯度。assignment 切片（***左闭右开区间***）random 包的引用。numpy 矩阵。创建张量：torch.nomal(0, 0.01, (3, 10, 4))2、循环：for i in rang(10)
2025-03-21 13:01:58
200
原创 第二节：深度神经网络
线性函数与多层神经元串联的神经元似乎只有传递作用，那么多根和一根似乎没有什么区别，所以需要激活函数。激活函数和非线性因素如果没有激活函数，无论网络多么复杂，最后的输出都是输入的线性组合，而纯粹的线性组合并不能解决更为复杂的问题。引入激活函数之后，由于激活函数都是非线性的，这样就给神经元引入了非线性元素，使得神经网络可以逼近任何非线性函数，这样使得神经网络应用到更多非线性模型中。常见的且简单的激活函数：激活函数位置：激活函数放在每一个神经元后，利用激活函数得到的值进入下一个神经元的入口。
2025-03-20 11:51:22
611
原创 第一节：机器学习算法简介
KNN的工作原理如下：1、距离度量：KNN使用距离度量（通常是欧氏距离）来测量数据点之间的相似性。2、确定邻居数量K。w*，b*=arg min（w，b）L 学习率lr（learnin rate）：超参数，认为规定。线性模型（Linear model）：y（label标签）=w（weight权重）x（feature数据）+b（bias偏差）2、分类任务：（选择题）图片：猫/狗。深度学习：不可解释性（设计一个很深的网络架构让机器自己学习，就是找一个函数f），（黑匣子）
2025-03-20 10:01:13
225
原创 第三部分 :self-attention 自注意力机制
四：Self-attention，每一个字加上位置都embedding，相加为token。之后，通过Q,K,V来交互，Q是Query，k是key，V是value。Q和K算出注意力，V按照注意力相加为输出。五：Bert，是一个编码器，目的是是把一句话编码为特征。六：Bert的结构，三部分：1、embeddin层；三：上面的模型，不能并行，速度慢，只能单向（也有双向模型）。RNN和LSTM太慢了：只能一代接一代，没办法看完整篇文章，输出结果。（2）长短期记忆（LSTM）：1.输入门。一、每个词都有输出一个值。
2025-03-12 18:15:00
183
原创 第三部分：深度学习与特征
无标签数据通过无监督学习的模型可以提取很好的特征（这个过程就是：无监督预训练:(pretrain),ChatGPT中的P就是预训练这个意思）加上分割、分类等就可以做下游任务。1、把自己的一部分当作学习的目标，用一个mask挡住一部分，通过编码预测挡住的部分，还原图片以后生成的图片与原图片的差异就是loss。（输出一张假的图片）（最简单的就是把怕判别器的准确度作为生成器的loss）监督学习是有x有y，自监督是从x提取一小部分当自己的标签y（自己当自己的标签）无监督学习的意义：生活中大部分数据都是没有标签的。
2025-03-11 18:58:30
148
原创 第五节下 图像分类
将无标签数据读入no_label_dataset，通过模型得到预测值pred（两个值：一个置信度，一个标签），将pred加入一个新的数据集semi-dataset。半监督学习(semi)：无标签的图通过模型预测一个值，超过一定置信度，打上一个新的标签，然后用做训练。不是每一轮都进行semi_loader，至少3轮（epoch % 3 == 0）以上。模型准确率至少要达到（plt_val_acc >= 0.6）半监督学习：有的有y，有的无y。监督学习： 有x，有y。无监督学习：有x，无y。
2025-03-11 18:12:47
205
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人