炼丹师

原创 [深度学习从入门到女装]文章索引

网络结构：VGG ResNet GoogLeNet Xception DenseNet Deformable CNN ResNeXt DPN SENet Non-local （CVPR2018） Wide Residual Networks Learning Transferable Architectures for Scalable Image Recognition...

原创 [深度学习从入门到女装]几种奇怪的卷积

普通卷积原始特征图 20*20 4个通道分别使用6组 4*3*3的卷积进行处理最终得到20*20*6的特征图分组卷积分组卷积就是将特征图的通道进行分组，然后对每一组使用普通卷积进行操作后，得到的所有特征图concat到一起就是最终结果特征图原始特征图 20*20 4个通道，分为两组，每组变为2两个通道分别对两组使用2组3*3的卷积最终得到20*20*4...

原创 [李宏毅-机器学习]结构化学习 structured learning

structured SVM

原创 [李宏毅-机器学习]元学习 meta learning

MAML

原创 [李宏毅-机器学习]序列模型 Sequence to Sequence model

sequence generation每一步随机采样下一词conditional sequence generationdynamic sequence generation（attention）encoder可能无法将所有输入都压缩到一个vector中之前decoder每一步的输入都是一样的，现在让deco...

原创 [李宏毅-机器学习]网络压缩 Network compression

network purningweight purning不适合GPU加速，使用nural purning比较好knowledge distillationparameter quanitizationarchitecture designdynamic computation...

原创 [李宏毅-机器学习]终身学习 Life-long learning

用同一个模型能解决很多任务knowledge retention在task1上训练的model，在用于task2的训练后，发现在task1上的performance就下降了让在新任务上学习到的参数，使得其与之前任务上得到的参数的距离不是很远，每个参数都有一个b来控制它的重要程度knowledge transfermo...

原创 [李宏毅-机器学习]解释性机器学习 Explainable ML

local explaination移除图片中的一部分，如果识别结果发现很大变化，则该部分对于识别这个物体很重要计算最后类别的概率那个节点对每个pixel的梯度，梯度大的话就说明该pixel重要global explaination用一个可以被解释的model去解释另一个不可被解释的model...

原创 [李宏毅-机器学习]ML攻击与防御 Attack ML model

Attackwhite box 已经拥有模型只更新一次便得到最终的结果black box 不知道模型defense对需要识别的图片使用filter做处理

原创 [李宏毅-机器学习]异常检测 Anomaly Detection

with labelwithout label

原创 [李宏毅-机器学习]支持向量机 Support vector machine

在逻辑回归中，loss function的选择hinge loss>1的数据，不是support vector，其他的是support vectorlinear SVM其中1就是间隔，为软间隔为什么w是数据的线性组合？从梯度下降的角度来看，当w初始化为0的时候，就相当于x的线性组合只是当前维度空间的分类结果可能不理想...

原创 [李宏毅-机器学习]强化学习 Reinforcement learning

policy-based method

原创 [李宏毅-机器学习]集成学习 Ensemble

baggingbagging用于复杂的model，解决over-fitting，例如决策树boosting用于简单的modelAdaboost让新的data分布，在当前分类器上的正确率为50%，再使用新的data分布来训练下一个分类器将分类正确的data权重降低，分类错误的data权重增加gradie...

原创 [李宏毅-机器学习]循环神经网络 RNN

双向RNNLSTM将xt（向量）使用线性变换为z（向量），其中z的维度就是cell的数目，将每个维度（scale）单独输入到每个cell得到每个词的词性clipping 梯度裁剪当梯度大于阈值的时候，遗弃或缩小该梯度由于时间的叠加，权重小的变化，会因此梯度剧烈的变动...

原创 [李宏毅-机器学习]迁移学习 transfer learning

Model Fine-tuningMulti-task learningdomain-adversarival trainingzero-shot learning网络的输出是种类的特征，然后对这些特征进行embedding，然后按最近的进行分类将word embedding引入...

原创 [李宏毅-机器学习]无监督学习 unsupervised learning

Clustering 聚类K-meansHierarchical Agglomerative ClusteringDimension Reduction 降维PCA找到一个方向w1，使得数据x投影在这个方向上，方差最大，这样在这个维度上还可以轻易区分各个数据z1当需要投影到多维的时候，再找一个方向w2，使得x投影在这上方差最大，其中w2和w1是垂直的...

原创 [李宏毅-机器学习]半监督学习 semi-supervised learning

有label的数据很少，大部分是没有label的数据使用unlabel数据来帮助估计数据分布step1：使用初始化的model，对unlabel数据进行每类的概率计算step2：通过对上一步得到unlabel数据的概率，更新model迭代进行，直到收敛用熵来表示label概率的分布情况，是否集中...

原创 [李宏毅-机器学习]卷积神经网络CNN

原创 [李宏毅-机器学习]Tips for deep learning

Activation fucntionsigmoid对深层网络效果不好，可能会导致梯度消失问题sigmoid对输入比较大，得到的输出比较小ReLUMaxout自动学习出来需要的activation function梯度下降优化方式AdaGradRMSPropAdagrad改进版，对过去和现在的梯度（不带方向，平...

原创 [李宏毅-机器学习]反向传播Backpropagation

原创 [李宏毅-机器学习]逻辑回归Logistic Regression

逻辑回归相对于线性回归，是在y=ax+b上用sigmoid做输出的限制逻辑回归用于分类，线性回归用于拟合数据使用梯度下降获得最终结果为什么逻辑回归不能用均方误差？判别式模式 和 生成式模型判别式模型知道找到类别的判别式中的参数，即直接找到P（C|x）分布而生成式模型需要先对P（x|C）进行假设建模（如高斯模型），然后找到该模型的参数，得到P（x|C）...

原创 [李宏毅-机器学习]分类classification

生成式模型每个类别内部的分布假设为高斯分布使用likelihood计算高斯分布的参数使用微分可以求解高斯分布中的方差，不同类别可以共享一个，减少参数量共享方差会得到线性的boundary如果不考虑特征之间的关系，即方差只有对角线，则为Naive Bayes classification，即特征独立分布先验分布可以推出来sigm...

原创 [李宏毅-机器学习]梯度下降Graident Descent

AdaGrad每个参数都有自己的learning rate梯度下降最好是一步到达local minim所以最好的step是一阶导数/二阶导数adagrad就是使用原来所有的微分平方和代替二次微分，能够减少二次微分计算量？？？为什么可以这么做？还不是很懂 如何代替随机梯度下降Stochastic Gradient descent随机...

原创 [李宏毅-机器学习]回归Regression

step1：确定函数的形式step2：构建损失函数（评价函数）step3：训练得到最好的function线性回归中的loss为convex，不会陷入local optimal过拟合问题模型能力过于复杂，相当于完全记住了每个训练样例，但是对于测试样例来说，得不到很好的结果正则化 减弱过拟合让function比较平...

原创 LeetCode 2 Keys Keyboard

Initially on a notepad only one character 'A' is present. You can perform two operations on this notepad for each step:Copy All: You can copy all the characters present on the notepad (partial copy ...

原创 无聊之作-LeetCode Solve the Equation

Solve a given equation and return the value ofxin the form of string "x=#value". The equation contains only '+', '-' operation, the variablexand its coefficient.If there is no solution for the e...

原创 无聊之作-moore边缘提取

这里使用moore进行二值化图形的边缘提取算法比较简单，找到每个连通区域最左上角的点，然后使用顺时针方向moore获取到该连通区域的边缘，然后使用dps把这个连通区域在原图中抹去，然后依次获取到每个连同区域的边缘，得到最终的结果import cv2 as cvimport numpy as npimport syssys.setrecursionlimit(1000000)cla...

原创 无聊之作-区域生长、区域分裂与聚合

区域生长就是从一或者多个人为设定的种子点，根据周围8领域的像素进行以此判断，如果在阈值之间则分割出来并压入种子栈中，直到种子栈为空import cv2 as cvimport numpy as npdef region_seed_grow(img,seed,low_bound,high_bound): stack=[seed] res=np.zeros(img....

原创 [深度学习从入门到女装]Scale-Aware Trident Networks for Object Detection

论文地址：Scale-Aware Trident Networks for Object Detection这篇文章是使用改变网络的感受野来提高目标检测的能力，其实感觉就是感觉把deeplab中的block用到目标检测中文章对比了两种主流的结构，第一种就是最原始图像金字塔，把原始图像缩放成不同尺寸，然后对这些不同尺寸的图像进行特征提取，在分别使用这些不同scale的特征进行p...

原创 [深度学习从入门到女装]RDSNet: A New Deep Architecture for Reciprocal Object Detection and Instance Segmentatio

论文地址：RDSNet: A New Deep Architecture for Reciprocal Object Detection and Instance Segmentation一篇挺有意思的论文，这篇论文将目标检测和实例分割做成项目促进的方法来提高他们的精准度在普通的instance segmentation的网络中，目标检测和instance segmentation是...

原创 [深度学习从入门到女装]EmbedMask: Embedding Coupling for One-stage Instance Segmentation

论文地址：EmbedMask: Embedding Coupling for One-stage Instance Segmentation一篇使用embedding方法进行one-stage instance segmentation的论文文章中提到，目前进行instance segmentation的方法有两类：第一类：two-stage方法，把instance seg...

原创 [深度学习从入门到女装]YOLACT Real-time Instance Segmentation

论文地址：YOLACT Real-time Instance Segmentation这是一片实例分割的论文，该论文的目的是对原始的one-stage目标检测的框架加上mask的branch实现实例分割，就像Mask R-CNN对Faster R-CNN一样，只不过maskRCNN是two-stage的整体网络框架如上图所示：文章中也提到说one-stage的方法使...

原创 无聊之作-图像细化（骨架）

理论部分参考：https://blog.youkuaiyun.com/klose93/article/details/54564519https://www.cnblogs.com/xianglan/archive/2011/01/01/1923779.htmlimport cv2 as cvimport numpy as npdef thin(img): f=np.zero...

原创 无聊之作-C#调用C++dll

最近由于实习工作需要，要搞一些工程化的东西，为了计算效率等原因我们的算法是通过C++实现的，而最后的图像化软件界面是软工用C#完成的，因此需要提供我们C++的接口dll给他们软工使用C#进行调用1.C++dll生成新建——项目——Win32控制台程序——然后取个名字——确定——下一步——选择DLL——勾选空白项目参见：https://blog.youkuaiyun.com/qq_34097...

原创 [无聊之作]小波变换

小波理论部分参考：https://blog.youkuaiyun.com/qq_30815237/article/details/89704855这里给出python实现import matplotlib.pyplot as plt # plt 用于显示图片from PIL import Imageimport numpy as npimg = Image.open('E:\\...

原创 [深度学习从入门到女装]detectron2源码阅读-混淆矩阵计算

在detectron2中对于分类问题的混淆矩阵计算部分代码如下：//混淆矩阵计算self._conf_matrix = np.zeros((self._N, self._N), dtype=np.int64)output = output["sem_seg"].argmax(dim=0).to(self._cpu_device)pred = np.array(output, dtype...

原创 [深度学习从入门到女装]detectron2源码阅读-Hook

在上一篇文章，我们讲述了该框架的Trainer结构，其实该框架中最好玩的应该是Hook的结构，接下来我们详细来讲Hook可以看到在Trainer类中，会存储一个hook的list，list中是不同功能的hook，然后在训练的不同阶段，会挨个调用所有hook，如果该hook在这个阶段需要工作，则进行该hook的运行。那么hook是怎么获取trainer过程中的数据结果之类的呢 ...

原创 [深度学习从入门到女装]detectron2源码阅读-Trainer

detectron2是facebook的开源目标检测框架/tools/train_net.py是进行网络训练和评估的主要文件，我们从这里开始阅读if __name__ == "__main__": #os.environ['CUDA_VISIBLE_DEVICES'] = '0,1' # --config-file --resume --eval-only ...

原创 [深度学习从入门到女装]Multi-scale guided attention for medical image segmentation

论文地址：Multi-scale guided attention for medical image segmentation整个网络结构如上图所示，首先使用resnet的各个层，提取到不同size的feature map，然后使用guided attention 模块进行融合，得到不同size的分割结果，最后再结合到一起guided atteention module如上...

原创 [深度学习从入门到女装]A Novel Focal Tversky loss function with improved Attention U-Net for lesion segmentatio

论文地址：A Novel Focal Tversky loss function with improved Attention U-Net for lesion segmentation一篇对Tversky Loss进行改进的论文，网络的结构为Attention U-net新增加了多尺度输入，多层次的预测结果作为lossFocal Tversky LossT...