Enjoy Coding

1. 数据预处理1.1QuantileTransformerclasssklearn.preprocessing.QuantileTransformer(*,n_quantiles=1000,output_distribution='uniform',ignore_implicit_zeros=False,subsample=100000,random_state=None,copy=True)Transform features using quantiles informa...

yolo.c#include "darknet.h"// 20个类别定义char *voc_names[] = {"aeroplane", "bicycle", "bird", "boat", "bottle", "bus", "car", "cat", "chair", "cow",

ReLU tensorflow中：tf.nn.relu(features, name=None)LReLU(Leaky-ReLU)  其中aiai是固定的。ii表示不同的通道对应不同的aiai. tensorflow中：tf.nn.leaky_relu(features, alpha=0.2, name=None)PReLU 其中aiai是可以学习的的。如果ai=0ai=0，那么 PReLU 退化...

在深度学习的发展过程中，有意无意中，很多创新点都与改善模型计算复杂度密切相关。因而，本文对CNN的时间和空间复杂度做以分析。首先，明确下FLOPS和FLOPs的区别：FLOPS：注意全大写，是floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。 FLOPs：注意s小写，是floating po...

#include "layer.h"#include "cuda.h"#include <stdlib.h>void free_layer(layer l){ if(l.type == DROPOUT){ if(l.rand) free(l.rand);#ifdef GPU if(l.rand_gpu) ...

#include "convolutional_layer.h"#include "utils.h"#include "batchnorm_layer.h"#include "im2col.h"#include "col2im.h"#include "blas.h"#include "gemm.h"#include <stdio.h&

#include "im2col.h"#include <stdio.h>// 获取图像像素值float im2col_get_pixel(float *im, int height, int width, int channels,                        int row, int col, int channel, int pad){    r...

1. Training procedure refinements：1. data augmentations2. optimization methods.3. loss functions 2. Baseline Training Procedure： Randomly sample an image and decode it into 32-bit floatin...

1. 需要解决的问题  

main函数int main(int argc, char **argv){ //test_resize("data/bad.jpg"); //test_box(); //test_convolutional_layer(); if(argc < 2){ fprintf(stderr, "usage: %s <function>\...

network.c#include <stdio.h>#include <time.h>#include <assert.h>#include "network.h"#include "image.h"#include "data.h"#include "utils.h"#include "blas.h"#i

YOLO V2 —— YOLO9000:Better, Faster, StrongerImprovements:1. Batch Normalization：显著提高模型收敛速度， 不需要其他正则手段（比如Dropout）。给每个卷基层都增加BN后，mAP提高了2个点。2. High Resolution Classifier：将图像分辨率从224 x 224扩大为448 x 448，finetu...

Papers：[v1] Going Deeper with Convolutions, 6.67% test error, http://arxiv.org/abs/1409.4842[v2] Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift, 4.8%

公开课台大李宏毅：Machine Learninghttp://speech.ee.ntu.edu.tw/~tlkagk/courses_ML17.html斯坦福李飞飞-CS231n： Convolutional Neural Networks for Visual Recognitionhttp://cs231n.stanford.edu/http://cs231n.gith

7. 什么是梯度弥散？要怎么去解决这个问题？答： 随着网络层数变深， activations倾向于越大和越小的方向前进， 往大走梯度爆炸（回想一下你在求梯度时， 每反向传播一层， 都要乘以这一层的activations）， 往小走进入死区， 梯度消失。 这两个问题最大的影响是， 深层网络难于converge。sigmoid不存在梯度爆炸， 在activations往越大越小的方向上前进时， 梯度都...

11. 怎么解决过拟合和欠拟合？答：（1）过拟合：1）增加训练数据，数据增广。一般有如下方法：从数据源头采集更多数据；复制原有数据并加上随机噪声；重采样；根据当前数据集估计数据分布参数，使用该分布产生更多数据等。2）正则化：L1正则和L2正则；增大正则项参数。3）dropout。4）batch normalizatin。5）交叉验证，通过交叉检验得到较优的模型参数。6）特征选择，减少特征数或使用较...

1. 卷积神经网络(CNN)中卷积层与池化层如何进行BP残差传递与参数更新？答：(1) Average Pooling的BP好算，直接求导可得，就是1/n.(2) Max Pooling比较有意思，forward的时候需要记录每个窗口内部最大元素的位置，然后BP的时候，对于窗口内最大元素的gradient是1，否则是0。原理和ReLu是一样的。2. SVM为什么要用核函数？答：（1）kernel ...

Atrous 卷积，就是带洞的卷积，卷积核是稀疏的。上图（b）是带洞卷积，可以跳着选，隔一个加一个。下图中第三个示例（c），就是带洞卷积。带洞卷积减少了核的大小，可以达到节省内存的作用。而且带洞卷积的有效性基于一个假设：紧密相邻的像素几乎相同，全部纳入属于冗余，不如跳H(hole size)个取一个。...

YOLO V3: An Incremental ImprovementImprovements:1. Objectness score：YOLO V3用logistic regression为每一个bbox预测一个objectness score。假如一个bbox与ground truth的IOU比其他bboxes的都要大，则它的objectness score为1，即为best box。假如一个...

utils.c#include <stdio.h>#include <stdlib.h>#include <string.h>#include <math.h>#include <assert.h>#include <unistd.h>#include <float.h>#include &l

Answer 1What are kernels?A kernel is a similarity function. It is a function that you, as the domain expert, provide to a machine learning algorithm. It takes two inputs and spits out how simila