Idiot 的博客

机器学习方面，简单来说：凸：指的是顺着梯度方向走到底就 一定是 最优解 。 大部分 传统机器学习 问题 都是凸的。非凸：指的是顺着梯度方向走到底只能保证是局部最优，不能保证 是全局最优。 深度学习以及小部分传统机器学习问题都是非凸的。凸优化和非凸优化进一步的解释凸优化问题是指是闭合的凸集且是上的凸函数的最优化问题，这两个条件任一不满足则该问题即为非凸的最优化问题。其中，是 凸集是指对集合中的任意两点，有，即任意两点的连线段都在集合内，直观上就是集合不会像下图那样有“凹下去”的部分.

集成学习的思想概括：对于训练集数据，我们通过训练若干个个体学习器,通过一定的结合策略，就可以最终形成一个强学习器，以达到博采众长的目的。对弱分类器结果进行整合对于预测（数值预测)：bagging、boosting等方法简单平均(Simple Average），就是取各个分类器结果的平均值。 加权平均(Weight Average），加权平均。对于分类(类别预测)：简单投票(Major vote) :就是每个分类器的权重大小一样，少数服从多数，类别得票数超过一半的作为分类结果 加权投票(

Gensim 工具包Gensim是一款开源的第三方Python工具包，用于从原始的非结构化的文本中，无监督地学习到文本隐层的主题向量表达。它支持包括TF-IDF、LSA、LDA，和word2vec在内的多种主题模型算法，支持流式训练，并提供了诸如相似度计算，信息检索等一些常用任务的API接口。三大经典深度学习网络：CNN GAN RNN语言模型与RNN语言模型就是指给定一个一句话前面的部分，预测接下来最有可能的一个词是什么。语言模型是对一种语言的特征进行建模，它有很多很多用处。比如在语音.

生成对抗网络 GAN一个产生器G和另一个鉴别器D，这两个网络之间的零和游戏。G试图将通过学习真实样本的特点后，将噪声数据转化成与真实样本尽可能相似的生成样本”;D试图鉴别出真实样本和生成样本。这里的GAN用于生成一个全新的、不存在的图像，这个图像看似在训练数据集中出现过，但实际上并没有。下图是GAN的分解示意图。从下图可以发现，生成网络从始至终是没用过真实数据的。仅通过鉴别器返回真、假的结果生成数据。Z是白噪声GAN例子可以查找 this person(house) does not exist

使用预训练的VGG模型 Fine-tune CNN使用Fine-tune的方法，可以在原先训练好的网络参数的基础上，只改变最深几层的神经网络的网络结构，前面卷积核参数保持原来的样子。这样可以只用很少量的训练数据来完成整个网络的训练。比如说用几十张的图片来训练一个图片分类器。但是这种做法精度不够高，而且一般只用在二分类的问题上。...

计算机视觉任务分类、分类及定位、目标检测、图像分割图像识别的困难：视角变化:一个相同的目标相对摄像机可以有不同的朝向;尺度变化:不仅是占据图像的相对大小，目标在真实世界的大小也会变化;光照改变:光照会对像素值的大小产生巨大的变化。形变:许多目标有时会有很极端的形态改变;遮挡:目标可能只有一小部分是可见的背景融合:目标可能会和背景混为一体类内变化:相同类的不同个体之间可能会变的完全不同。CNN卷积神经网络(Convolutional Neural Network,CNN)是深度学习.

端到端的学习方式

机器学习的常见算法示例决策树：对数据if else then 的方式进行逐层划分。带标签的有监督的学习方式。聚类：无监督的方式。无指示标签。根据样本点在样本空间上的分布进行分类。最终效果取决于选择的聚类特征时间序列：ARIMA AR：体现规律性的循环。I：差分MA：平滑，平均。效果比现在的的RNN循环神经网络效果差很多。朴素贝叶斯：基于概率的模型。有坚实的数学基础，有强可解释性。SVM支持向量机：将两组数据分开来，而且能找到最优分界面。不是概率模型关联规则：无监督方法。于传统统计方

人工智能覆盖范围很广，除了机器学习之外，还包括专家系统、进化计算、等等很多领域。机器学习任务的三大前提：1、现象的背后有一个潜在的模式或规律。（色子就不行啊）2、这个模式或规律很难用数学公式定义。如果有明确的公式或很容易定义特征就没有必要使用机器学习了。比如传统的回归分析算法一般不属于机器学习。3、有足够多的数据。现在典型情况训练深度学习在数据增强后至少达到万以上。人工智能两大应用领域1、计算机视觉分类、分类定位、生产对抗网络：超分辨率重构无人驾驶、人体姿态识别、风格迁移2、自然

Python 计算常用数据结构

三者的版本对应关系https://www.tensorflow.org/install/source_windows注意要按照下图的说明来安装，否则会出现无法使用GPU计算等各种各样的问题。cuda下载地址：https://developer.nvidia.com/cuda-toolkit-archivecuda10 win10:https://developer.nvidia.com/cuda-10.0-download-archive?target_os=Windows&targe.