huggingface镜像网站下载模型

本文学习资料主要来自An Overview of Multi-Task Learning in Deep Neural Networks 背景：只专注于单个模型可能会忽略一些相关任务中可能提升目标任务的潜在信息，通过进行一定程度的共享不同任务之间的参数，可能会使原任务泛化更好。广义的讲，只要l...

本文是一篇神经网络架构搜索综述文章，从 Search Space、Search Strategy、Performance Estimation Strategy 三个方面对架构搜索的工作进行了综述，几乎涵盖了所有近几年的优秀工作。论文：Neural Architecture Search: A Survey链接：https://www.paperweekly.site/papers/2249作...

在这篇文章中：numpy函数介绍 1. np.transpose(input, axes=None) 2. np.concatenate((a1, a2, …), axis=0) 3. np.newaxis 实践出真知 1. 扩展出一个新的维度用来表示channel 2.叠加channel 3.维度转置 4.验证是否正确 5.整体演示代码 numpy函数...

深度学习中参数更新的方法想必大家都十分清楚了——sgd，adam等等，孰优孰劣相关的讨论也十分广泛。可是，learning rate的衰减策略大家有特别关注过吗？在训练神经网络时，使用学习率控制参数的更新速度．学习率较小时，会大大降低参数的更新速度；学习率较大时，会使搜索过程中发生震荡，导致参数在极优值附近徘徊．为此，在训练过程中引入学习率衰减，使学习率随着训练的进行逐渐衰减．learni...

在TensorFlow官方ResNet模型实现分析中我们分析了基于Estimator的模型实现与运行的基本方法。除此之外，这份源码还提供了神经网络中常用的一种手段——迁移学习（Transfer Learning）的实现。迁移学习取决于具体的任务，从零开始训练一个深度神经网络有时需要海量的数据才能得到较好的效果。如果你手头的数据有限，又想采用神经网络作为解决方案，可以尝试一下迁移学习。举...

谷歌提出了一项新型模型缩放方法：利用复合系数统一缩放模型的所有维度，该方法极大地提升了模型的准确率和效率。谷歌研究人员基于该模型缩放方法，提出了一种新型 CNN 网络 EfficientNet，该网络具备极高的参数效率和速度。目前，该模型的代码已开源。卷积神经网络（CNN）通常以固定成本开发，然后再按比例放大，从而在获得更多资源时可以达到更高的准确率。例如Resnet 可以通过增加网络层数，从...

简介此章节介绍了对模型的评估方法，以及对两个或多个模型进行比较的方法。概念错误率（error rate）：如果在 m 个样本中有 a 个样本分类错误，则错误率为 E = a / m 。精度（arrcuracy）：精度为 1 - a / m，即精度 = 1 - 错误率。误差（error）：学习器的实际预测输出与样本的真实输出之间的差异称为误差。其中，学习器在训练集上的误差称为训练...

机器学习已经成为了当前互联网领域不可或缺的技术之一，前辈们对机器学习模型的研究已经给我们留下了一笔非常宝贵的财富，然而在工业界的应用中我们可以看到，应用场景千千万万，数据千千万万但是我们的模型却依然是那些，在机器学习的应用中对数据的处理与分析往往扮演着比模型更加重要的角色，本文针对机器学习应用数据处理的一个方面即“不平衡数据”下的机器学习方法进行了简单介绍。引言不管是在学术界还是工业界...

论文：Bag of Tricks for Image Classification with Convolutional Neural Networks论文链接：https://arxiv.org/abs/1812.01187论文复现对很多人而言难度都比较大，因为常常涉及很多细节，部分细节对于模型效果影响很大，但是却很少有文章介绍这些细节，前段时间正好看到这篇文章，再加上之前就有关注Gluo...

神经网络构建好，训练不出好的效果怎么办？明明说好的拟合任意函数(一般连续)(为什么？可以参考http://neuralnetworksanddeeplearning.com/)，说好的足够多的数据(Occam's_razor），仔细设计的神经网络都可以得到比其他算法更好的准确率和泛化性呢(当然不是我说的)，怎么感觉不出来呢？很直观，因为神经网络可以随意设计，先验假设较少，参数多，超参数...

使用tf.layers.batch_normalization()需要三步：在卷积层将激活函数设置为None。使用batch_normalization。使用激活函数激活。需要特别注意的是：在训练时，需要将第二个参数training = True。在测试时，将training = False。同时，在降低loss时候时候：update_ops = tf.get_collectio...

对同一个体进行多项观察时，必定涉及多个随机变量X1，X2，…，Xp，它们都是的相关性, 一时难以综合。这时就需要借助主成分分析 (principal component analysis)来概括诸多信息的主要方面。我们希望有一个或几个较好的综合指标来概括信息，而且希望综合指标互相独立地各代表某一方面的性质。任何一个度量指标的好坏除了可靠、真实之外，还必须能充分反映个体间的变异。如果有一项指标，...

什么是特征向量，特征值，矩阵分解[1. 特征的数学意义] 我们先考察一种线性变化，例如x,y坐标系的椭圆方程可以写为x^2/a^2+y^2/b^2=1，那么坐标系关于原点做旋转以后，椭圆方程就要发生变换。我们可以把原坐标系的(x,y)乘以一个矩阵，得到一个新的(x',y')的表示形式，写为算子的形式就是(x,y)*M=(x',y')。这里的矩阵M代表一种线性变换：拉伸，平移，旋转...

在tensorflow中保存和恢复模型主要通过tf.train.Saver()，具体如下：保存模型saver = tf.train.Saver()获得一个文件句柄，将训练中的某一个快照状态保存到文件中去 saver.save(sess, os.path.join(model_dir, ‘ckp-%05d’%(i+1)))，将训练好的模型保存到文件中 参数1：sess，session会话，...

本博客实现将自己训练保存的ckpt模型转换为pb文件，该方法适用于任何ckpt模型，当然你需要确定ckpt模型输入/输出的节点名称。目录tensorflow实现将ckpt转pb文件一、CKPT 转换成 PB格式二、 pb模型预测三、源码下载和资料推荐1、训练方法2、本博客Github地址3、将模型移植Android的方法 使用 ...

在用tensorflow实现一些模型的时候，有时候我们在运行程序的时候，会发现程序占用的内存在不断增长。最后内存溢出，程序被kill掉了。这个问题，其实有两个可能性。一个是比较常见，同时也是很难发现的。 tensorflow 训练部分代码几乎都采用循环，如果在循环中用到tf的op操作，就会导致节点越来越多，图的大小也不停的增大，故而内存会持续增长。这个问题的解决，需要我们知道tensorfl...

OOM定义—out of memory，内存溢出，一个程序中，已经不需要使用某个对象，但是因为仍然有引用指向它垃圾回收器就无法回收它，当该对象占用的内存无法被回收时，就容易造成内存泄露。多个内存泄漏最终会导致内存溢出，即OOM。这个报错的原因有很多1、自身代码有问题，导致GPU内存不够用这个只能自查2、有未释放的GPU资源，导致GPU不够用；当然也有可能多人使用GPU，别人使用了。解...

在现代深度学习算法研究中，通用的骨干网+特定任务网络head成为一种标准的设计模式。比如VGG + 检测Head，或者inception + 分割Head。在移动端部署深度卷积网络，无论什么视觉任务，选择高精度的计算量少和参数少的骨干网是必经之路。这其中谷歌家去年发布的 MobileNetV2是首选。在MobileNetV2论文发布时隔一年4个月后，MobileNetV3 来了！论文名称《...

　在做分类时常常需要估算不同样本之间的相似性度量(Similarity Measurement)，这时通常采用的方法就是计算样本间的“距离”(Distance)。采用什么样的方法计算距离是很讲究，甚至关系到分类的正确与否。　　本文的目的就是对常用的相似性度量作一个总结。本文目录：1. 欧氏距离2. 曼哈顿距离3. 切比雪夫距离4. 闵可夫斯基距离5. 标准化欧氏距...