qm5132的博客

统计机器学习是一种基于统计理论的机器学习方法，理解MLE、OLS、MSE对于基本功非常重要。1、MSE、OLS、MLE的定义均方误差MSEMSE是Mean Squared Error缩写，一般用于衡量预测值和真实值之间的差异，属于一种具体的计算函数。普通最小二乘法OLSOrdinary Least Squares的缩写，一般用于线性模型，通过最小化数据集各个样本预测值和真实值之间的均方误差之和，来预估线性模型的参数，属于一种数学优化技术。极大似然估计MLE...

二进制交叉熵是交叉熵的一种特殊情况，专门处理二分类问题。二进制交叉熵公式：假定样本预测值f(x)=a，当样本标签y=1，L=lnf(x)，当y=0，L=ln(1-f(x))。Keras.losses.binary_crossentropy实现源码如下：主要注意的地方有以下几处：（1）keras自带的binary_crossentropy()函数对最后一个维度(last axis)求解mean。（2）后端tf函数binary_crossentropy()对预测值做了截断clip处理

现在dl学习的过程已经越来越简单的了，尽管很多时候真的只是调用API即可，但遇到需要定制的需求，这时候就需要清晰理解各个注意点，这里记录下LSTM API使用中的几处笔记。1、LSTMCell类和LSTM类的区别解答：LSTMCell类是对LSTM单个计算单元的完整封装，里面包含了各个计算步骤的详细过程，在LSTM层中用作实际计算单元。而LSTM类是抽象类RNN的子类，通过实例化LSTMCell来完成LSTM的计算。简单来说，LSTMCell类是LSTM的“心”，而LSTM类是LSTM的“壳”（比喻

##############################################################-- tf.summary.FileWriter """Writes `Summary` protocol buffers to event files. The `FileWriter` class provides a mechanism to create ...

陆陆续续学习深度学习已经快1年，接下来总结各个模型的优缺点~1、目的：1）大多数图像识别模型精度很高，但参数较大，模型较大，不适合在嵌入式设备中使用。2）小数的小模型还不够小（参数小、运算量少、精度高），而且不关注speed。2、现有方法1）实现小模型的方法：压缩预训练模型、直接设计小模型结构2）直接设计小模型结构：Flattened network、Xception...

最近在研究怎么将服务器跑的模型移植到手机端，需要一些问题记录下~前提知识：1）熟悉 Graph、GraphDef和MetaGraphDef的含义和区别2）熟悉tf lite官网上的文档，包括python api和命令行CLI的使用方法（lite converter和lite interpreter）3）熟悉quantization_aware traning的官网示例（区别于p...

最近在研究attention机制，这篇是发表于16年的一篇涉及Attention机制的paper。提出的原因：（1）现有的CNN结构对空间不变形的处理能力较弱（2）希望根据文理和形状就可以区分object的方位和部分变形（3）max-pooling具有一定的空间不变形能力，但是局部的，而且只限制在高层次的cnn和max-pooling层，中间层无法获取空间转换能力。（某种程度来说，...

最近在使用yolo3（参考源码：https://github.com/qqwweee/keras-yolo3）做目标检测，在此记录下遇到的若干问题。（keras-yolo3源码分析已经满天飞，不重复解读）问题1：原始的yolo3源码，data_generator过程和模型train过程是阻塞式的，模型train速度会受到data产生的影响解决思路：单独开一个thread，将data_g...

理解1D卷积核keras.layers.convolutional.Conv1D(filters, kernel_size, strides=1, padding='valid', dilation_rate=1, activation=None, use_bias=True, kernel_initializer='glorot_uniform', bias_initializer='ze...

imagenet数据集的均值：[123.68, 116.779, 103.939]imception和inception_v3需要进行零中心缩放到[-1, 1]：（zero-centering all channels and resizes it to [-1, 1] interval）x /=255.0x -= 0.5x *= 2--over--...

深度学习（正向传播即分类，反向传播即生成）：1、经过训练后每一层都会逐步提取图像的更高层次特征，直到最后一层基本上决定图像显示的内容。2、特征变化趋势：边缘和拐角（轮廓） => 整体的特征（文理和笔触等） => 越来越多的复杂特征deep_drean的整体思想： 输入任务无关的图片，通过网络提取特征，反向传播更新图片中的像素点（非新网络参数），不断迭代让网络越来越相信...

最近工作涉及到图像识别，属于轮廓式的图像（非猫狗这些丰富色彩的的object，而是类似建筑图这种），恰好用到GCN。图像识别是目前的一个研究热点，基于CNN模型在很多图像识别领域有比较好的效果，但在非二维方格或三维方格、轮廓式的图像领域也可以尝试其他方法，比如GCN（graph convolution network）。这里汇总下GCN所涉及的相关知识点，做一个总结！A：代表邻接矩阵，...

最近遇到海量稀疏数据，尝试logistic regression之后发现模型效果不理解，尝试LR的非线性版本——因子分解机，下面记录下FM（Factorization Machines）的知识点~1、目的、优缺点目的：在特征稀疏情况下，特征如何组合，如何构建非线性超平面。优缺点：（1）特征稀疏时，模型仍能参数估计（SVM会失败）（2）可以基于原始形式进行优化（需要像SVM一样借...

临时学习的知识点有点乱，保存起来。用这个漂亮的工具将方程式截图迅速转换为 LaTeXhttps://zhuanlan.zhihu.com/p/48077774SENet学习笔记https://blog.youkuaiyun.com/xjz18298268521/article/details/79078551http://www...

Tensorflow和Nvidia驱动、cuda和cudnn的版本协调：（https://www.tensorflow.org/install/source#tested_build_configurations）一、安装驱动ubuntu本身拥有开源的集成显卡驱动程序nouveau，先屏蔽nouveau，再安装NVIDIA官方驱动。查看属性ls -lh /etc/mod...