lvsolo的专栏

神经网络学习工具目前就职于人工智能企业，日常工作内容集中在模型在不同平台的适配、模型转换、量化等方面，虽然与模型相关，但是对于模型结构、原理的研究不够深入，希望能够在闲暇时间积累一些关于模型结构和原理方面的知识，跟进一下比较前沿的进展。但在此过程中，发现在：1、知识获取；2、代码复现中都存在不少的障碍，主要障碍是：1、没有足够时间去跟进最新的进展（日常工作中这种需求也不强）；2、各个框架（尤其pytorch）的可视化支持不够；3、不够熟悉相关框架的常用函数；针对这三个问题，有以下解决思路

梯度下降和二阶牛顿法的直观推导优化的目的梯度下降算法牛顿法实验验证(TODO)优化的目的假设有loss=f(x)loss=f(x)loss=f(x),我们通过每次迭代x′=x+δxx'=x+\delta xx′=x+δx来使得f(x′)<f(x)f(x') < f(x)f(x′)<f(x)，这是我们优化的终极目的。泰勒分解：f(x′)=f(x+δx)=f(x)+f′(x)δ...

参考知乎： https://www.zhihu.com/question/34554321在几乎所有的算法的决策环节，都需要有一定的相似性度量手段（聚类、分类、检测、人脸识别），换句话说，我们需要比较两种结果之间的相似性，再进一步，与好相似性高的就认为是比较好，与差相似性高的就认为是比较差，相似性度量的决策实际上基于近朱者赤近墨者黑这一理论。 常见的相似性度量方法有： 1、距离：L1曼哈

检测任务 主要参考了几篇文献博客： http://blog.youkuaiyun.com/xidianzhimeng/article/details/10470839 https://docs.opencv.org/3.3.1/dc/d88/tutorial_traincascade.html http://blog.youkuaiyun.com/liulina603/article/details/859868

如果你在开发一个音乐分类的应用，需要对k种类型的音乐进行识别，那么是选择使用 softmax 分类器呢，还是使用 logistic 回归算法建立 k 个独立的二元分类器呢？ 这一选择取决于你的类别之间是否互斥，例如，如果你有四个类别的音乐，分别为：古典音乐、乡村音乐、摇滚乐和爵士乐，那么你可以假设每个训练样本只会被打上一个标签（即：一首歌只能属于这四种音乐类型的其中一种），此时你应该使用类别数 k

学习中关注的重点：算法方面 1、梯度反向传播公式的推导2、网络总体代价函数的构成；识别偏差loss（对所有patch的平均偏差值）+模型参数复杂度（系数W的平方和均值）+稀疏化代价（平均隐藏层激活度与设定激活度的相对熵）编程方面：用矢量化编程代替for循环，用矩阵运算代替向量运算稀疏自编码网络，顾名思义：稀疏指的是隐藏层神经元的平均激活度较低（0.01）,自编码指的是输出与输入的结果尽

学习了机器学习实战第五章 这一章用到了最优化方法中的梯度上升法，简单说，梯度上升法基于函数的单调性，我们如果想求得函数的极值，就可以让自变量根据梯度的方向进行变化，这样根据函数的单调性可以保证变化的方向正确而且可以保证效率最高，因为梯度指示的方向相当于山脊的方向，沿梯度方向函数变化是最快的。 以本算法为例，目标函数是error=classLabel−herror=classLabel-h 要求

kNN.py# -*- coding: utf-8 -*-############KNN: the k nearest neighbours###########from numpy import *import operatorimport os###############new_input : a matrix with [1,1024]#dataset : a matri

朴素贝叶斯分类的原理是条件概率的计算： 在已知先验概率的条件下，计算后验概率，后验概率即是在当前数据条件下属于分类1或者分类2 的概率，取概率较大的一个为输出。 贝叶斯准则很熟悉了，不解释了，但在这个算法中引入了一个很重要的思想：将文本等数据对象转化为向量格式进行计算。 其中包含了：1、正则表达式的运用，python中re库的运用 2、留存交叉验证：将样本一部分用作训练，一部分用作测试，当将

一、元算法元算法（meta-algorithm）是一类将多个分类器分类结果进行整合的算法，元算法一般包括一下几种：bagging(boostrap aggregating),random-forest,jackknife,boosting 遇到罕见病例时，医院会组织专家团进行临床会诊共同分析病例以判定结果。如同专家团临床会诊一样，重大决定汇总多个人的意见往往胜过一个人的决定。机器学习中也吸取了‘三