zlibo丶的博客

参数：模型内部的配置变量，可以用数据估计模型参数的值。超参数：模型外部的配置，必须手动设置参数的值。简单理解就是：参数是通过模型的训练得到的，一般是指神经网络模型的权重和偏置，支持向量机中的支持向量，线性回归或逻辑回归中的系数等；超参数是人为手动设置的，一般是神经网络模型的学习率、模型的层数、每层的节点数，以及支持向量机的C和sigma超参数等。    参考：h...

I think that biases are almost always helpful. In effect, a bias value allows you to shift the activation function to the left or right, which may be critical for successful learning.It might help t...

Exploding gradients are a problem where large error gradients accumulate and result in very large updates to neural network model weights during training.This has the effect of your model being unst...

这是一篇从外文网站转载的一篇关于构建深度神经网络时的建议，在进行网络搭建时可以适当借鉴和参考。Practical Advice for Building Deep Neural Networksby Matt H and Daniel RIn our machine learning lab, we’ve accumulated tens of thousands of trainin...

f-score是一种衡量机器学习模型性能的指标，一般定义为： 当beta大于1，更多关注recall；当beta小于1，更多关注precision。f-score是通过权衡recall和precision之间的重要性的性能指标，下面是关于beta如何权衡两者之间的重要性的解释： 参考：https://stats.stackexchange.com/questions/2...

一篇来着外文网站的关于分类与回归异同的解释。Difference Between Classification and Regression in Machine LearningFundamentally, classification is about predicting a label and regression is about predicting a quantity....

Clustering with Gaussian Mixture ModelsClustering is an essential part of any data analysis. Using an algorithm such as K-Means leads to hard assignments, meaning that each point is definitively a...

The Difference between Linear and Nonlinear Regression ModelsThe difference between linear and nonlinear regression models isn’t as straightforward as it sounds. You’d think that linear equations pr...

参考：https://towardsdatascience.com/the-5-clustering-algorithms-data-scientists-need-to-know-a36d136ef68 The 5 Clustering Algorithms Data Scientists Need to KnowClustering is a Machine Learning tech...

此文转载于外文网站https://medium.com/@2017csm1006/forward-and-backpropagation-in-convolutional-neural-network-4dfa96d7b37e文中对卷积神经网络的反向传播的计算过程，使用了动图表示，理解起来更简单明了。Forward And Backpropagation in Convolutiona...

In terms of digital images, spatial resolution refers to the number of pixels utilized in construction of the image. Images having higher spatial resolution are composed with a greater number of pixel...

1. 今天在windows上使用Tensorflow时，出现了下面的问题：直接执行如下命令，解决：pip uninstall h5pypip install h5py2. 后续在使用过程中，又出现下面的问题：直接执行如下命令，解决：pip install --upgrade h5py3. 当执行上面upgrade指令时，遇到下面的问题：按照提示...

参考链接：1. kNN与kMeans聚类算法的区别 ： https://www.cnblogs.com/190260995xixi/p/5945652.html2. 聚类的方法（层次聚类，K-means聚类） ： https://www.cnblogs.com/nku-wangfeng/p/7642745.html...

常用的梯度下降算法一般是Batch Gradient Descent，Mini-batch Gradient Descent和Stochastic Gradient Descent。1. Batch Gradient Descent1）优点：在训练过程中，使用固定的学习率，不必担心学习率衰退现象的出现。 具有一条直接到最小值的轨迹线，并且当目标函数为凸函数时，理论上保证收敛到全局最小...

1. 交叉验证的应用1）交叉验证被用于比较在特定数据集上，不同机器学习模型的性能：假设将两种机器学习模型K Nearest Neighbours (KNN) or Support Vector Machine (SVM)应用于MNIST数据集上，为了比较两种模型的分类性能，可使用交叉验证方法，这可以帮助选择在MNIST数据集中表现较好的一种模型。2）交叉验证被用于选择合适的模型参数：...

机器学习中，经常会将数据划分为训练集、验证集和测试集，常见比例是8:1:1，也可根据需要进行调整。训练集：顾名思义，是对模型进行训练，一般是用来梯度下降的，得到模型的参数（不是超参数）。验证集：一般是在每个epoch完成后，用来测试当前模型的准确率。验证集跟训练集没有交集，因此这个准确率是可靠的。但是，验证集参与了一个“人工调参”的过程，根据验证集的结果可以调节迭代次数、学习率等超参数，使...

机器学习训练出的模型，其作用不是只体现在训练数据集上取得很高的准确率，也应该具有良好的泛化能力，即在测试集中也确定较好的准确率。而模型的训练过程中常常产生过拟合和欠拟合问题，如何避免两种模型问题，是得到健壮模型的关键。以下内容来自TensorFlow官网。参考：https://www.tensorflow.org/tutorials/keras/overfit_and_underfitIn...

激活函数在神经网络中，具有将输入进行运算，得到神经元输出的作用，常见的三种激活函数分别是sigmoid，tanh，rectified linear function，对三种激活函数的定义和解释已经是容易找到的，就不再赘述，主要展示将三种函数绘制在同一个坐标下的曲线图。可以清晰的看出，三种函数对输入输出之间的映射关系。 tanh函数是sigmoid函数重新调整的结果，它的输出是[-1,1...

关于迁移学习不错的博文，值得学习：1. https://blog.youkuaiyun.com/linolzhang/article/details/733582192. https://blog.youkuaiyun.com/SusanZhang1231/article/details/73249978入门迁移学习可参考一篇文章：A Survey on Transfer Learning，Sinno Jia...

在卷积神经网络中，receptive field是一个重要的概念，对它的理解，也是理解卷积神经网络的一个重要方面。从直观上来讲，receptive field是卷积神经网络中某一层输出结果中的一个像素点对应的输入层的一个映射。这里对输入层的理解分为两种讨观点，一种认为是本层所对应的输入图，另一种认为是原始图像。个人观点应该是对应的输入图，而不是原始图像。 下面这篇是原文：https...

Feature Extraction Using ConvolutionOverviewIn the previous exercises, you worked through problems which involved images that were relatively low in resolution, such as small image patches and sma...

给大家推荐一个超级详细的Jupyter Notebook安装和使用的博文，感谢作者的整理。https://blog.youkuaiyun.com/DataCastle/article/details/78890469

最近在看迁移学习的东西，卡在了 bottleneck 的理解上，有些困惑，查了一些资料，做一下笔记，希望对此有兴趣的小伙伴可以一起交流。暂时还没有个人的理解，后续如果有新的想法，会补上...参考：1. https://stats.stackexchange.com/questions/262044/what-does-a-bottleneck-layer-mean-in-neu...

在CNN或者其他深度学习网络中，总是会看到1×1卷积层，但是对这个层是如何起作用的和存在的意义不是很了解，查阅了大量的资料，现在做一些简要的总结，供交流。如下图所示，图片来源参考4。图中表示输入层维度为4×4×5，kernel有3个，大小为1×1，strides=1，输出层维度为4×4×3，比较输入层和输出层，两者在平面空间维度上是没有变化的，都为4×4，但从纵向深度上改变了，从5变为...

linux下安装faster-rcnn时，出现下面错误时的解决方案：这是因为当前版本的caffe的cudnn实现与系统所安装的cudnn的版本不一致引起的。解决办法：1.将./include/caffe/util/cudnn.hpp 换成最新版的caffe里的cudnn的实现，即相应的cudnn.hpp.2. 将./include/caffe/layers里的，所有以cudn...