Alla

转载：https://mp.weixin.qq.com/s/jvFd0YT5bUPbTms1_TiaGw本文对深度学习两种模型部署方式进行总结和梳理。一种是基于web服务端的模型部署，一种是基于C++软件集成的方式进行部署。基于web服务端的模型部署，主要是通过REST API的形式来提供接口方便调用。而基于C++的深度学习模型部署，主要是通过深度学习框架的C++前端版本，将模型集成到软件服务中。本文分别对上述两种模型部署方式进行流程梳理，并分别举例进行说明。1. 基于web端的模型部署1.1 w

https://blog.youkuaiyun.com/tsyccnh/article/details/87357447

1、首先是tf.truncated_normal函数tf.truncated_normal(shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None) shape是张量维度，mean是正态分布是均值，stddev是正态分布的标准差；在正态分布的曲线中，横轴区间（μ-σ，μ+σ）内的面积为68.268949%。横轴区间（μ-2σ，μ+2σ）内的面积为95.449974%。横轴区间（μ-3σ，μ+3σ）内的面积为99.7

之前学tensorflow1.x现在学tensorflow2.0，在Anaconda安装好tensorflow-gpu==2.0.0后运行程序出现：CUDA driver version is insufficient for CUDA runtime version的错误；原因：CUDA驱动版本不满足CUDA运行版本。因为我的显卡支持CUDA9.1及以下，而tf2.0需要CUDA10以上，所以报错。看了很多博客说换什么CUDA toolkit，在这里是没有用的，因为这里是驱动不支持的原因了。折

鱼书记录9：参考：快速理解卷积神经网络的输入输出尺寸问题

鱼书记录7：1. Batch Normalization 的算法好处可以使学习快速进行（可以增大学习率）。不那么依赖初始值（对于初始值不用那么神经质）。抑制过拟合（降低Dropout等的必要性）。综上，通过使用Batch Norm，可以推动学习的进行。并且，对权重初始值变得健壮（“对初始值健壮”表示不那么依赖初始值）。2.正则化2.1.权值衰减L1和L2范数：2.2.Dropout作为抑制过拟合的方法，前面我们介绍了为损失函数加上权重的L2范数的权值衰减方法。该方法可以简单地实现

数值微分和反向传播都能更新权值的梯度度（严格来说，是损失函数关于权重参数的梯度），但反向传播更加高效。

关于交叉熵在loss函数中使用的理解交叉熵（cross entropy）是深度学习中常用的一个概念，一般用来求目标与预测值之间的差距。以前做一些分类问题的时候，没有过多的注意，直接调用现成的库，用起来也比较方便。最近开始研究起对抗生成网络（GANs），用到了交叉熵，发现自己对交叉熵的理解有些模糊，不够深入。遂花了几天的时间从头梳理了一下相关知识点，才算透彻的理解了，特地记录下来，以便日后查阅。信息论交叉熵是信息论中的一个概念，要想了解交叉熵的本质，需要先从最基本的概念讲起。1 信息量首先是信息量。

记录鱼书4:1.y = 0.01x2 + 0.1x经过某点画切线图import numpy as npimport matplotlib.pyplot as pltdef numerical_diff(f,x): h=1e-4 return (f(x+h)-f(x-h))/(2*h)def fun1(b): return 0.01*b**2+0.1*bdef tangent_line(f,x): #d就是调用numerical_diff求得在x点的导数

鱼书3：1.MSE均方差误差import numpy as npdef MSE(y,t): #形参t代表训练数据（监督数据）（真实） #y代表预测数据 return 0.5*np.sum((y-t)**2)# 设“2”为正确解t = [0, 0, 1, 0, 0, 0, 0, 0, 0, 0]#假设预测下标为2是正确的y1 = [0.1, 0.05, 0.6, 0.0, 0.05, 0.1, 0.0, 0.1, 0.0, 0.0]print(MSE(np.array

批处理及小批量概念

邻近算法（k-NearestNeighbor) 是机器学习中的一种分类（classification）算法，也是机器学习中最简单的算法之一了。虽然很简单，但在解决特定问题时却能发挥很好的效果。因此，学习kNN算法是机器学习入门的一个很好的途径。kNN算法的思想非常的朴素，它选取k个离测试点最近的样本点，输出在这k个样本点中数量最多的标签（label）。我们假设每一个样本有m个特征值（property），则一个样本的可以用一个m维向量表示: X =（ x1，x2，… , xm ), 同样地，测试点的特征值

0、问题机器学习领域有个很重要的假设：IID独立同分布假设，就是假设训练数据和测试数据是满足相同分布的，这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。那BatchNorm的作用是什么呢？BatchNorm就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布的。思考一个问题：为什么传统的神经网络在训练开始之前，要对输入的数据做Normalization?原因在于神经网络学习过程本质上是为了学习数据的分布，一旦训练数据与测试数据的分布不同，那么网络的泛化能力也大大降低；另一方

以下ppt来源都是B站R-CNN Fast R-CNN Faster R-CNN区别(一步步来的)

基于tensorflow1.9+gpu可分类图片import tensorflow as tfimport osimport numpy as npimport refrom PIL import Imageimport matplotlib.pyplot as pltlines=tf.gfile.GFile("/path/classify_mission/retrain/outpu...

1.迁移学习为了对迁移学习产生一个直观的认识，不妨拿老师与学生之间的关系做类比。一位老师通常在ta所教授的领域有着多年丰富的经验，在这些积累的基础上，老师们能够在课堂上教授给学生们该领域最简明扼要的内容。这个过程可以看做是老手与新手之间的“信息转移”。这个过程在神经网络中也适用。我们知道，神经网络需要用数据来训练，它从数据中获得信息，进而把它们转换成相应的权重。这些权重能够被提取出来，迁移到...

首先代码运行有了log文件打开adaconda虚拟坏境中open terminal（cmd），是这样打开才行，直接cmd不行的，然后cd 进入到log前一个目录中再输入tensorboard.exe --logdir=E:\path\to\log(“具体log文件路径”)在这里插入图片描述...

点点1随便打个名，开2选第一个进入cmd模式，输入命令