两只橙的博客

一、局部最优问题深度学习算法的目标函数，几乎全都是非凸的。而目前寻找最优解的方法，都是基于梯度下降的。稍微有点背景知识的人都知道，梯度下降方法不能解决是解决非凸问题的。因此，如果找到最优解，将是深度学习领域，非常值得研究的课题。andrew在google的工作，也就是那只猫，其实训练过程是让人很费解的。为了缩短训练时间，项目组采用了分布式训练的方式。采用了1000 台计算机，在不同的计算机上存...

一 模型训练基本步骤进入了AI领域，学习了手写字识别等几个demo后，就会发现深度学习模型训练是十分关键和有挑战性的。选定了网络结构后，深度学习训练过程基本大同小异，一般分为如下几个步骤定义算法公式，也就是神经网络的前向算法。我们一般使用现成的网络，如inceptionV4，mobilenet等。定义loss，选择优化器，来让loss最小对数据进行迭代训练，使loss到达最小在测试集或者...

一、什么是TF-IDFTF-IDF(Term Frequency-Inverse Document Frequency, 词频-逆文件频率).是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。词频 (ter...

一、Keras中提供了一个神经网络可视化的函数plot，并可以将可视化结果保存在本地。plot使用方法如下：from keras.utils.visualize_util import plot plot(model, to_file='model.png') 注：笔者使用的Keras版本是1.0.6，如果是python3.5fromkeras.utilsimportplo...

github项目地址：https://github.com/liangzhicheng120/bayes一、简介项目使用SpringBoot做了一层web封装项目使用的分词工具hanlp项目使用JDK8贝叶斯法则 事件A在事件B(发生)的条件下的概率，与事件B在事件A的条件下的概率是不一样的；然而，这两者是有确定的关系,贝叶斯法则就是这种关系的陈述。贝叶斯术语 其中L(A...

项目github地址：https://github.com/liangzhicheng120/nlp一、简介本工具是由复旦NLP中的时间分析功能修改而来，做了一些细节和功能的优化，经SpringBoot封装成web工具。泛指时间的支持，如：早上、晚上、中午、傍晚等。时间未来倾向。 如：在周五输入“周一早上开会”，则识别到下周一早上的时间；在下午17点输入：“9点送牛奶给隔壁的汉...

一、选取素材本文选取的小说素材来自17k小说网的一篇小说，手工复制小说中的题记。小说网址：http://www.17k.com/list/2793873.html训练语料如下： 语料格式题记：此情可待成追忆，只是当时已惘然。二、开发环境tensorflowancondeidea编辑器三、实战代码#!/bash/bin# -*-coding:utf-8-*...

一、神经网络性能调优主要方法数据增广图像预处理网络初始化训练过程中的技巧激活函数的选择不同正则化方法来自于数据的洞察集成多个深度网络1. 数据增广在不改变图像类别的情况下，增加数据量，能提高模型的泛化能力。 自然图像的数据增广方式包括很多，如常用的水平翻转（horizontally flipping），一定程度的位移或者裁剪和颜色抖动（color jittering...

一、机器学习算法工程师需要掌握的技能机器学习算法工程师需要掌握的技能包括（1）基础数据结构与算法树与相关算法图与相关算法哈希表与相关算法矩阵与相关算法（2）概率和统计基础大数定理中心极限定理常用概率分布假设校验理论最大后验理论最大似然理论EM算法贝叶斯理论贝叶斯分类错误率（3）机器学习理论3.1 无监督学习混合高斯模型层次聚类...

一、机器学习概念图谱二、什么是机器学习机器学习(machine learning)是最近非常火的一个领域，关于其一些基本定义百度百科、维基百科或者网上随便都可以找到很多资料，所以这里不做过多解释。我们解决一个问题有两种模式：一种叫做模型驱动(model driven)，通过研究对象的物理、化学等机理模型，对对象进行建模，从而解决问题，比如我们熟知的牛顿三定律，对于上面那个公式...

一、环境python3.6安装anaconda安装jieba安装gensim安装IDEA 编辑器安装 二、实战演练训练语料source.txt9月12日随着颁奖典礼的结束,我院获得了商委系统运动会系列活动之一——足球比赛的季军,本次比赛立时十天,十二只球队分成两个小组比赛。我院代表队以小组第二名的成绩出现,在和另一小组第二名石油公司争夺三四名的比赛中,教师们超水...

一、概念RF、GBDT和XGBoost都属于集成学习（Ensemble Learning），集成学习的目的是通过结合多个基学习器的预测结果来改善单个学习器的泛化能力和鲁棒性。二、关系根据个体学习器的生成方式，目前的集成学习方法大致分为两大类：即个体学习器之间存在强依赖关系、必须串行生成的序列化方法，以及个体学习器间不存在强依赖关系、可同时生成的并行化方法；前者的代表就是Boosting，后者的代表是

一、简介长短期记忆网络LSTM（Long-Short Term Memory）是递归神经网络（RNN:Recurrent Neutral Network）的一种。 RNNs也叫递归神经网络序列，它是一种根据时间序列或字符序列（具体看应用场景）自我调用的特殊神经网络。将它按序列展开后，就成为常见的三层神经网络。常应用于语音识别。虽然前馈神经网络取得很大成功，但它无法明确模拟时间关系，并且...

一、前言深度神经网络通常比较擅长从高维数据中学习，例如图像或者语言，但这是建立在它们有大量标记的样本来训练的情况下。然而，人类却拥有单样本学习的能力——如果你找一个从来没有见过小铲刀的人，给他一张小铲刀的图片，他应该就能很高效的将它从其他厨房用具里面鉴别出来。这是一种对人类来说很容易的任务，但是直到我们想写一个算法让它去做这件事……那就GG了 。很明显，机器学习系统很希望拥有这种快速从少量样...

在推荐领域，我们常常会遇到冷启动的问题，这可能在所有的推荐项目中或多或少都会涉及。对于该问题，通常的解决方法如下：①（提供非个性化的推荐）比如先推荐热门排行榜，收集一定用户数据后，再进行个性化推荐；②（用户冷启动）利用注册时的用户信息粗粒地个性化推荐；③（用户冷启动）使用用户注册登录后对某些物品进行反馈的兴趣信息进行个性化推荐。；④（物品冷启动）对于新加入的物品，可以利用内...

一、数据增强的背景和应用场景随着AI技术的逐步发展，更好的神经网络模型对数据规模的要求也逐步提升。而在分类任务中，若不同类别数据量相差很大，模型则会出现过拟合现象，严重影响预测的正确性。从广义上来讲，有监督模型的效果相对半监督或无监督学习都是领先的。但是有监督模型需要获取大量的标注数据，当数据需求达到十万、百万甚至更多时，人工标注数据昂贵的代价已经让很多人望而却步。如何利用有限的标注数据，...

1 LeNet5一种典型的用来识别数字的卷积网络是LeNet-5。1.1 模型结构LeNet-5共有7层（不包含输入层），每层都包含可训练参数；每个层有多个Feature Map，每个FeatureMap通过一种卷积滤波器提取输入的一种特征，然后每个FeatureMap有多个神经元。• C1层是一个卷积层 输入图片：32 * 32 卷积核大小：5 * 5 卷积核种类：6 输...

1 前言首先回顾一下自然语言处理中的一个基本问题：如何计算一段文本序列在某种语言下出现的概率？之所以称其为一个基本问题，是因为它在很多NLP任务中都扮演着重要的角色。例如：去哪 。。。联想到“ 吃饭！”的概率，即“吃饭”这个词在“去哪”这种语言环境下出现的概率。2 词向量最早的词向量是很冗长的，它使用是词向量维度大小为整个词汇表的大小，对于每个具体的词汇表中的词，将对应的位置置为1...

1 人脸检测在目标检测领域可以划分为了人脸检测与通用目标检测，往往人脸这方面会有专门的算法（包括人脸检测、人脸识别、人脸其他属性的识别等等），并且和通用目标检测（识别）会有一定的差别，着主要来源于人脸的特殊性（有时候目标比较小、人脸之间特征不明显、遮挡问题等），下面将从人脸检测和通用目标检测两个方面来讲解目标检测。1.1 目前主要有人脸检测方法分类？目前人脸检测方法主要包含两个区域：传统人脸...

1 为什么需要分布式计算？在这个数据爆炸的时代，产生的数据量不断地在攀升，从GB，TB，PB到ZB。挖掘其中数据的价值也是企业在不断地追求的终极目标。但是要想对海量的数据进行挖掘，首先要考虑的就是海量数据的存储问题，比如TB量级的数据。谈到数据的存储，则不得不说的是磁盘的数据读写速度问题。早在上个世纪90年代初期，普通硬盘的可以存储的容量大概是1G左右，硬盘的读取速度大概为4.4MB/s.读取...

一、收集数据1.1 数据源的样例每一个机器学习问题都是从数据开始的，比如电子邮件、帖子或tweet列表。常见的文本信息来源包括：产品评论(亚马逊，Yelp，各种应用商店)用户生成内容(tweet、Facebook帖子、StackOverflow问题)故障排除(客户请求、支持票、聊天日志)“Disasters on Social Media” dataset“社交媒体灾难”数据集...

协同过滤算法协同过滤(Collaborative filtering, CF)算法是目前个性化推荐系统比较流行的算法之一。协同算法分为两个基本算法：基于用户的协同过滤（UserCF）和基于项目的协同过滤（ItemCF）。基于属性的推荐算法基于用户标签的推荐统计用户最常用的标签，对于每个标签，统计被打过这个标签次数最多的物品，然后将具有这些标签的最热门的物品推荐给这个用户。这个...

在过去的十年中，神经网络已经取得了巨大的飞跃。如今，神经网络已经得以广泛应用，并逐渐取代传统的机器学习方法。 接下来，我要介绍一下YouTube如何使用深度学习方法来做个性化推荐。由于体量庞大、动态库和各种观察不到的外部因素，为YouTube用户提供推荐内容是一项非常具有挑战性的任务。YouTube的推荐系统算法由两个神经网络组成：一个用于候选生成，一个用于排序。如果你没时间仔细研究论文，可以...

准确率与召回率（Precision & Recall）  准确率和召回率是广泛用于信息检索和统计学分类领域的两个度量值，用来评价结果的质量。其中精度是检索出相关文档数与检索出的文档总数的比率，衡量的是检索系统的查准率；召回率是指检索出的相关文档数和文档库中所有的相关文档数的比率，衡量的是检索系统的查全率。  一般来说，Precision就是检索出来的条目（比如：文档、网页等）有多...

前言一旦文档变成这种稠密向量形式，那如何从海量文本中快速查找出相似的Top N 文本呢?这就不得不提到一个海量数据相似查找算法——Annoy算法。算法原理建立索引Annoy的目标是建立一个数据结构，使得查询一个点的最近邻点的时间复杂度是次线性。Annoy 通过建立一个二叉树来使得每个点查找时间复杂度是O(log n)。 看下面这个图，随机选择两个点，以这两个节点为初始中心节点，执行聚类...

人脸识别技术不但吸引了Google、Facebook、阿里、腾讯、百度等国内外互联网巨头的大量研发投入，也催生了Face++、商汤科技、Linkface、中科云从、依图等一大波明星创业公司，在视频监控、刑事侦破、互联网金融身份核验、自助通关系统等方向创造了诸多成功应用案例。本文试图梳理人脸识别技术发展，并根据作者在相关领域的实践给出一些实用方案设计，期待能对感兴趣的读者有所裨益。一、概述通俗地讲，任

一、为什么需要机器学习有些任务直接编码较为复杂，我们不能处理所有的细微之处和简单编码，因此，机器学习很有必要。相反，我们向机器学习算法提供大量数据，让算法不断探索数据并构建模型来解决问题。比如：在新的杂乱照明场景内，从新的角度识别三维物体；编写一个计算信用卡交易诈骗概率的程序。机器学习方法如下：它没有为每个特定的任务编写相应的程序，而是收集大量事例，为给定输入指定正确输出。算法利用这些事例...

机器学习思维导图

一、前言很多人认为深度学习很枯燥，大部分情况是因为对深度学习的学术词语，特别是专有名词很困惑，即便对相关从业者，亦很难深入浅出地解释这些词语的含义。人工智能，深度学习，机器学习—无论你在做什么，如果你对它不是很了解的话—去学习它。否则的话不用三年你就跟不上时代的潮流了。 ...

如果说卷积神经网络是昔日影帝的话，那么生成对抗已然成为深度学习研究领域中一颗新晋的耀眼新星，它将彻底地改变我们认知世界的方式。对抗学习训练为指导人工智能完成复杂任务提供了一个全新的思路，生成对抗图片能够非常轻松的愚弄之前训练好的分类器，因此如何利用生成对抗图片提高系统的鲁棒性是一个很有研究的热点问题。 神经网络合成的对抗样本很容易让人大吃一惊，这是因为对输入进行小巧精心制作的扰动就可能导致神经网络

循环神经网络的神经网络体系结构，它针对的不是自然语言数据，而是处理连续的时间数据，如股票市场价格。在本文结束之时，你将能够对时间序列数据中的模式进行建模，以对未来的值进行预测。1.上下文信息回到学校，我的一个期中考试仅由真的或假的问题组成时。假设一半的答案是“真的”，而另一半则是“假的”。我想出了大部分问题的答案，剩下的是靠随机猜测。我做了一件聪明的事情，也许你也可以尝试一下这个策略。在计数了我的“

自2011年以来，深度卷积神经网络（CNN）在图像分类的工作中的表现就明显优于人类，它们已经成为在计算机视觉领域的一种标准，如图像分割，对象检测，场景标记，跟踪，文本检测等。但，想要熟练掌握训练神经网络的能力并不是那么容易。与先前的机器学习思维一样，细节决定成败。但是，训练神经网络有更多的细节需要处理。你的数据和硬件有什么限制？你应该是从何种网络开始？你应该建立多少与卷积层相对的密集层？你的激励函数

1.1. 逻辑回归原理1.1.1. 逻辑回归在现实生活中，我们遇到的数据大多数都是非线性的，因此我们不能用上一章线性回归的方法来进行数据拟合。但是我们仍然可以从线性模型着手开始第一步，首先对输入的数据进行加权求和。线性模型：z=wx+bz=wx+b其中w我们称为“权重”，b为偏置量（bias），xx为输入的样本数据，三者均为向量的形式。 我们先在二分类中来讨论，假如能创建一个模型，如果系统输出1，

卷积神经网络(Convolutional Neural Network, CNN)是一种前馈神经网络, 在计算机视觉等领域被广泛应用. 本文将简单介绍其原理并分析Tensorflow官方提供的示例.一、工作原理卷积是图像处理中一种基本方法. 卷积核是一个nxn的矩阵通常n取奇数, 这样矩阵就有了中心点和半径的概念.对图像中每个点取以其为中心的n阶方阵, 将该方阵与卷积核中对应位置的值相...

1、准确率与召回率（Precision & Recall）准确率和召回率是广泛用于信息检索和统计学分类领域的两个度量值，用来评价结果的质量。其中精度是检索出相关文档数与检索出的文档总数的比率，衡量的是检索系统的查准率；召回率是指检索出的相关文档数和文档库中所有的相关文档数的比率，衡量的是检索系统的查全率。一般来说，Precision就是检索出来的条目（比如：文档、网页等）有多少是准确的，Recall

一、Tensorflow交叉熵函数：cross_entropy以下交叉熵计算函数输入中的logits都不是softmax或sigmoid的输出，因为它在函数内部进行了sigmoid或softmax操作1、tf.nn.sigmoid_cross_entropy_with_logits(_sentinel=None, labels=None, logits=None, name=None)...

一、人工智能——技术体系

一、人工智能——历史二、人工智能——内涵和外延三、人工智能——应用领域

一、简介在很多机器学习和深度学习的应用中，我们发现用的最多的优化器是Adam，为什么呢？下面是 TensorFlow 中的优化器： 详情参见：https://www.tensorflow.org/api_guides/python/train在keras中也有SGD，RMSprop，Adagrad，Adadelta，Adam等，详情：https://keras.io/optimi...

1、线性回归的主要思想就是通过历史数据拟合出一条直线，用这条直线对新的数据进行预测。（例如：位于线性函数两边的分别为A.B类）2、现实世界中的影响因素很多，因此我们需要使用多元线性函数来描述一个事件（结果）3、多元线性函数：研究二分类观察结果y与一些影响因素（x1,x2,x3,…,xn）之间关系的一种多变量分析方法，例如医学中根据病人的一些症状来判断它是 否患有某种病。4、多元线性回归公式： 5