
深度学习
文章平均质量分 50
伍同学笔记
这个作者很懒,什么都没留下…
展开
-
EfficientNet学习
学习链接:图解EfficientNet模型的完整细节 - 云+社区 - 腾讯云我在一个Kaggle竞赛中翻阅notebooks,发现几乎每个人都在使用EfficientNet 作为他们的主干,而我之前从未听说过这个。谷歌AI在这篇文章中:...https://cloud.tencent.com/developer/article/1699699...原创 2022-03-25 15:47:46 · 408 阅读 · 0 评论 -
origin画ROC曲线
ROC曲线的全称是受试者工作特征(Receiver Operating Characteristic)曲线,是非常重要和常见的统计分析方法。如果已经计算好FPR和TPR,可以直接使用最简单的图绘制。本教程使用的是原始数据,需统计计算后给出对应的参数,并绘制ROC曲线。数据格式示例数据为使用两种方法测量得到的RMSF患者和正常人的钠水平,数据格式为形式,其中第1列为人群信息,第2列为Method1测量的结果,第3列为Method1测量的结果。绘制图形选中后两列数据,使用菜单中的来绘转载 2022-03-25 15:41:19 · 12189 阅读 · 0 评论 -
CBAM、通道注意力、空间注意力学习
各模块简介:CBAM 是一个轻量级的通用模块,其中包含了空间注意力和通道注意力。通道注意力是先对空间进行全局平均或最大池化后,在通道层面求得注意力。空间注意力是先对通道进行全局平均或最大池化后,在空间层面求得注意力。2.CBAM:3.代码空间注意力pytorch代码:class SpatialAttention(nn.Module): def __init__(self, kernel_size=7): super(S...原创 2022-03-25 15:35:09 · 7999 阅读 · 0 评论 -
Depthwise Separable Convolution、Depthwise(DW)卷积与Pointwise(PW)卷积
Depthwise(DW)卷积与Pointwise(PW)卷积,合起来被称作Depthwise Separable Convolution(参见Google的Xception),该结构和常规卷积操作类似,可用来提取特征,但相比于常规卷积操作,其参数量和运算成本较低。所以在一些轻量级网络中会碰到这种结构如MobileNet。常规卷积操作 对于一张5×5像素、三通道彩色输入图片(shape为5×5×3)。经过3×3卷积核的卷积层(假设输出通道数为4,则卷积核shape为3×3×3×4),最终输...原创 2022-02-19 10:33:19 · 436 阅读 · 0 评论 -
【无标题】Transformer机制
这篇文章写得很详细,记录一下:Transformer是什么?看完这篇你就醍醐灌顶_fs1341825137的博客-优快云博客前言由谷歌团队提出的预训练语言模型BERT近年来正在各大自然语言处理任务中屠榜(话说学者们也挺有意思的,模型名都强行凑个芝麻街的人物名,哈哈哈)。 BERT算法的最重要的部分便是Transformer的概念,它本质上是Transformer的编码器部分。 而Transformer是什么呢?transformer是永远的神,自从transformer使用了抛弃rnncnn的纯att转载 2022-02-14 16:29:52 · 113 阅读 · 0 评论 -
二分类精度50%不上升可能的原因
尝试了部分,没有结果自己的问题,但还是记录一下。主要围绕资源进行尝试:https://blog.youkuaiyun.com/qq_44722174/article/details/104640018转载 2022-01-21 16:06:04 · 923 阅读 · 0 评论 -
TensorFlow2.0选择GPU或CPU训练
注意:以下所有程序都要在导入TensorFlow和keras包之前加入才可以选择CPU:import osos.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID"os.environ["CUDA_VISIBLE_DEVICES"] = "-1"选择GPU:import osos.environ['CUDA_VISIBLE_DEVICES'] = '/gpu:0'...原创 2021-12-31 09:44:02 · 3819 阅读 · 0 评论 -
tensorflow提示Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2
问题:今天在跑tensorflow程序时,出现这个问题,大概意思是:你的CPU支持AVX扩展,但是你安装的TensorFlow版本无法编译使用原因:除了通常的算术和逻辑,现代CPU提供了许多低级指令,称为扩展,例如, SSE2,SSE4,AVX等来自维基百科:高级矢量扩展(AVX)是英特尔在2008年3月提出的英特尔和AMD微处理器的x86指令集体系结构的扩展,英特尔首先通过Sandy Bridge处理器在2011年第一季度推出,随后由AMD推出Bulldozer处理器在2011年第三季度转载 2021-12-29 14:50:55 · 3982 阅读 · 0 评论 -
pytorch调整模型训练的学习率
简介torch.optim.lr_scheduler :提供了一些方法可以基于epochs的值来调整学习率。torch.optim.lr_scheduler.ReduceLROnPlateau :则提供了基于训练中某些测量值使学习率动态下降的方法。注意:学习率调整应该在优化器的更新之后,例如:scheduler = ...>>> for epoch in range(100):>>> train(...)>>> va...转载 2021-12-07 13:35:52 · 1220 阅读 · 0 评论 -
torch.stack()方法和torch.cat()方法的区别
torch.stack():函数stack()对序列数据内部的张量进行扩维拼接,指定维度由程序员选择(对 原始张量按照指定维度进行拼接,拼接后维度为原始维度加一,如原始维度为2*2,那么拼接后为n*2*2或2*n*2或2*2*n)。详情:https://blog.youkuaiyun.com/xinjieyuan/article/details/105205326torch.cat():在给定维度上对输入的张量序列seq 进行连接操作。(连接后维度为原始维度,如原来为2*2,那么连接后为n*2或2*n)详.原创 2021-11-13 21:53:20 · 1346 阅读 · 0 评论 -
AI算法岗面试问题记录1
记录一下面试算法岗过程中问到的问题,部分想不起了。1.交叉熵是怎么回事?公式是什么? 等式的前一部分恰巧就是p的熵,等式的后一部分,就是交叉熵:详细见:https://blog.youkuaiyun.com/lison_zhu/article/details/97234817 2.介绍非最大值抑制。定义:在模型预测阶段,我们先为图像生成多个锚框,并为这些锚框一一预测类别和偏移量。随后,我们根据锚框及其预测偏移量得到预测边界框。当锚框数量较多时,...原创 2021-09-27 23:14:12 · 410 阅读 · 0 评论 -
tf.saved_model.load()出错
有时我们保存tensorflow2.x模型时,采用了tensorflow的统一模型保存格式,tf.saved_model.save(model, "保存的目标文件夹名称")当我们di原创 2021-06-21 14:06:15 · 2024 阅读 · 0 评论 -
tensorflow2.0在call()方法中使用tf.reshape()方法报错
记录一下自己在tensorflow2.x的call()方法中,打算改变张量的形状,所以使用了:x = tf.reshape(x,(batch_size,-1))原创 2021-06-21 13:16:03 · 1046 阅读 · 0 评论 -
深度学习中训练集,验证集,测试集的学习心得
这段时间在做一个实验,但是由于数据集较小,所以我就只分了训练集和验证集(相当于把测试集当成验证集用了),由于没有真正意义上的测试集,所以做完实验之后开始怀疑自己,这样做真的对吗?没有真正意义上的...原创 2021-06-16 22:33:36 · 1082 阅读 · 2 评论 -
0-1Loss、Cross Entropy Loss、Hinge Loss、Exponential Loss、Modified Huber Loss 等几种常见损失函数的比较
前言在监督式机器学习中,无论是回归问题还是分类问题,都少不了使用损失函数(Loss Function)。**损失函数(Loss Function)**是用来估量模型的预测值 f(x) 与真实值 y 的不一致程度。若损失函数很小,表明机器学习模型与数据真实分布很接近,则模型性能良好;若损失函数很大,表明机器学习模型与数据真实分布差别较大,则模型性能不佳。我们训练模型的主要任务就是使用优化方法来寻找损失函数最小化对应的模型参数。在讨论分类问题的损失函数之前,我想先说一下模型的输出 g(s)。一般来说,二分转载 2021-06-09 16:03:22 · 4584 阅读 · 0 评论 -
tensorflow2.x训练模型出现nan
报如下错误:tensorflow.python.framework.errors_impl.InvalidArgumentError: assertion failed: [predictions must be >= 0] [Condition x >= y did not hold element-wise:] [x (sub_2:0) = ] [[-nan][-nan][-nan]...] [y (Cast_2/x:0) = ] [0] [[{{node asse...原创 2021-06-03 13:51:59 · 612 阅读 · 0 评论 -
Keras中那些学习率衰减方法
(43条消息) Keras中那些学习率衰减策略_Siucaan-优快云博客原创 2021-06-01 16:32:41 · 504 阅读 · 0 评论 -
TensorFlow2.X绘制常见图像(如AUC,acc,recall等等)
前人已写,所以不重复造轮子了,顾粘上相关链接:https://www.freesion.com/article/5668431209/#METRICS_7原创 2021-05-30 22:45:19 · 1026 阅读 · 0 评论 -
显示acc和lose时出现:KeyError: ‘sparse_categorical_accuracy‘
使用:history=model.fit(训练集数据, 训练集标签, batch_size=, epochs=, validation_split=用作测试数据的比例, validation_data=测试集, validation_freq=测试频率)训练之后,绘制其精度acc和损失loss函数曲线。根据fit()函数的传入数据的同,或者是是版本的不同,history使用前可打印history.history.keys(),查看字典关键字。当history包含以下几个属性:训练集loss: lo原创 2021-05-25 19:41:57 · 1079 阅读 · 2 评论 -
TimeDistributed()层应用于自定义层出现NotImplementedError
当使用tensorflow.keras.layers中的TimeDistributed应用于自定义层在时间维度进行扩展时,使输入数据在时间维度上的每个数据应用于相同的自定义层(或base_model),如:model = Sequential()model.add(TimeDistributed(base_model, input_shape=(15, 244, 244, 3)))训练时出现如下错误:File "/usr/local/lib/python3.6/dist-package..原创 2021-05-25 19:28:47 · 771 阅读 · 0 评论 -
tf.Keras.Model类常用方法总结
参考博主:(36条消息) tf.Keras.Model类总结_忆殇D.Rose的博客-优快云博客原创 2021-05-15 17:24:35 · 554 阅读 · 0 评论 -
tensorflow环境安装常用网址
国内镜像网站:阿里云http://mirrors.aliyun.com/pypi/simple/中国科技大学https://pypi.mirrors.ustc.edu.cn/simple/豆瓣(douban)http://pypi.douban.com/simple/清华大学https://pypi.tuna.tsinghua.edu.cn/simple/中国科学技术大学http://pypi.mirrors.ustc.edu.cn/simple/cuDNN下载...原创 2021-03-30 16:38:06 · 526 阅读 · 0 评论 -
python中__call()__函数和TensorFlow中call()函数的区别
在使用python的时候,经常用到python中的特殊函数:__call()__函数,但是学习TensorFlow的时候,又会看到自定义模型的时候,经常用call()函数,不懂他们之间的区别。python中的__call()__函数和TensorFlow中的call()函数是两个完全不同的函数,但是又有一定的联系。1.python中的__call__()函数:该方法是对基类的重载函数,使得类实例对象可以像调用普通函数那样,以“对象名()”的形式使用。比如:class CLanguage原创 2021-03-29 11:05:05 · 4200 阅读 · 4 评论 -
计算机视觉中的MAP的理解(mean average precision)
计算机视觉中的MAP的理解(mean average precision)精准率(Precision, P值)和召回率(Recall,R值)下面我们来讲AP(average precision)MAP(mean average precision)精准率(Precision, P值)和召回率(Recall,R值)在MAP的计算过程中,不得不谈的就是p指和R值,准确率或查准率(P值)Accuracy,指分类的准确率,也就是分类准确的样本与样本总数之比。召回率(R值)Recall中文可以翻译为“查全率”或者原创 2020-12-16 20:38:47 · 2914 阅读 · 1 评论 -
《深度学习》Tensorflow2.0 优化器
Tensorflow2.0的许多优化器与1.0的不同,编写代码时找不到。Convert v1.train to keras.optimizersHere are things to keep in mind when converting your optimizers:升级您的优化器可能使旧的检查点不兼容。 所有的epsilons(应该是α β之类的参数)现在默认为1e-7而不是1e-8(在大多数情况下可以忽略不计)。 v1.train.GradientDescentOptimizer 可.原创 2020-08-21 19:33:04 · 1245 阅读 · 0 评论 -
'c' argument has 1 elements, which is not acceptable for use with 'x' with size 211, 'y' with size
deep learning by Andrew NG在Course2的作业有时候经常报错,这可能是当时他布置作业时的环境比较旧,而现在搭建的Anaconda环境相对较新,有些方法已经不适用而造成的的。完成Regularizaion的作业,运行代码,出现:'c' argument has 1 elements, which is not acceptable for use with 'x' ...原创 2020-04-22 10:25:56 · 1486 阅读 · 0 评论 -
Jupyter Notebook中打开想要的文件夹
进入cmd界面 输入cd /d想要打开的目录 回车 输入jupyter notebook jupyter notebook 浏览器自动跳转进入原创 2020-04-04 15:15:11 · 479 阅读 · 0 评论