wishchinYang的专栏

前言： 深度学习：sigmod、tanh、ReLU函数的优缺点-文章图文并举；文章：CNN的结构分析--； 文章：历年ImageNet冠军模型网络结构解析---； 文章：GoogleLeNet系列解读---； 文章：DNN结构演进History—CNN-GoogLeNet ：Going Deeper with Convolutions ；文章：Google最新开源Incepti...

类别失衡是影响 one-stage 检测器准确度的主要原因。那么，如果能将“类别失衡”这个因素解决掉，one-stage 不就能达到比较高的识别精度了吗？何凯明团队采用 Focal Loss 函数 来消除这个主要障碍。该团队设计并训练了一个简单的密集目标检测器—RetinaNet，是由一个骨干网络和两个特定任务子网组成的单一网络，骨干网络负责在整个输入图像上计算卷积特征图，并且是一个现成的卷积网络。 第一个子网在骨干网络的输出上执行卷积对象分类；第二个子网执行卷积边界框回归。

考虑到传统的CNN构架的输入图像的尺寸都是固定的（例如：256*256），这种人工改变输入图像的尺寸破坏了输入图像的尺度和长宽比例。SPP-Net使用空间金字塔池化实现多尺度输入；SPP只对原图进行一次卷积，得到整张图的feature map，然后找到每个候选框zaifeature map上的映射patch，将此patch作为每个候选框的卷积特征输入到SPP layer和之后的层。

        为了保持文章系列的连贯性，参考这个文章：        此前的文章： DNN结构演进History—LSTM_NN  ，这个文章的分析更加全面清晰：Understanding LSTM NetWork 分析了各种LSTM网络，LSTM小品文 ：谷歌语音转录背后的神经网络。摘要：        LSTM使用一个控制门控制参数是否进行梯度计算，以此避免梯度消失或者爆炸。...

         参考翻译，有大量删除和修改，如有异议，请拜访原文。一定要看英文原文！！！。         本文转载于：深度译文：机器学习那些事         英文【原题】A Few Useful Things to Know About Machine Learning        机器学习是有别于专家系统（基于知识/规则）的一种模式识别方法，与专家系统的构建方法不同，但目的相同。本文分析...

为AI做注解：        AI已经出第三版，大的框架没有改变，DNN也没有引入AI这本书。        在一个算法工程师 和一个硬件工程师之间，把 不鲁棒 与不稳定 两个 形容词 联系起来，这就是转换思维的必要性。科普的本质是 用一种语法 来解释另一种语法，并保持语义不变。

通用搜索VS垂直搜索： 通用搜索特点： 抓取互联网上一切有价值的页面，同意建立索引，以关键字匹配为基本检索方式，以网页title和summary为展现方式 google, 百度，搜狗，搜搜，有道 垂直搜索特点： 以一特定类别为主题，只抓取与主题相关信息，根据主题特点有针对性的建立相应的索引检索方式，筛选方式，以及展现方式 机票搜索，地图搜索，购物搜索

前言：        一个完备的模式识别系统，必然包含一个模式识别模型，此外还要附加一个评价模型，以及为了构建识别模型而构建的学习模型，并选择在学习模型中使用的学习方法。       表示（Representation）　：    一个分类器必须用计算机可以处理的某种形式语言来表示。反过来讲，为模式识别模型选择一种表示，就意味选择一个特定的分类器集合。学习器可能学出的分类器只能在这个集合中。...

第四章：SoftMax回归UFLDL Tutorial 翻译系列：http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial简介：见 AI : 一种现代方法。Chapter21. Reinforce Learning p.703            Softmax函数为多个变量的Logitic函数的泛化.     ...

训练好的Caffe网络结构，可以固定下来，直接载入程序作为数据库接口使用。本文使用Eric构建运行于Python环境下的图片识别应用程序。若从0开始，一般可以使用最简单的六层网络，使用Caffe可以仅配置参数就可以构建简单的CNN，一般的六层网络是这样设置的：InPut——>Conv层——>Pooling层——>Conv层——> Pooling层/ ReLU整流层+pooling层——>全链接层——>softMax层——>输出类别概率。

所谓问题的解决是生存参数空间的一种状态转移到另外一种状态，而目的状态恰好是主体所希望的。完成这种转换的一系列脚本变化过程叫做场景序列，也叫通路。驱动这一些列场景转换的主体参与过程，被称为主动执行。而主体参与执行过程所抽象出来的主动参与行为规则，被称为解决问题的方法。状态空间转换总有一条最短时间转换通路或者一条最短空间转换通路，被称为最优通路，而主体在参与过程中使用的方法为最优方法。

对机器学习、深度学习的一些介绍，包括若干深度学习的经典模型； Caffe 的 优势 （模块化、速度、社区支持等）、 基本结构 （网络定义、层定义、Blob等）和 用法 （模型中损失函数、优化方法、共享权重等的配置、应用举例、参数调优的技巧），以及 未来方向 （CPU/GPU 并行化、Pythonification、Fully Convolutional Networks等）。

在使用网络预测图像时，prediction = net.predict( [input_image] )出现： net.image_dims[0] 不是整数情况，

NTM的成熟体DNC竟然达到了这种能力，不知道进化成完全体会是什么样子。竟然在机器翻译的准确率上超过了已经公布的所有模型，不愧是最接近现阶段最接近图灵机的有限图灵机。在数码宝贝中，我最喜欢的是阿和的加布兽进化的究极体数码宝贝——钢铁加鲁鲁，其使用的武器绝对冷冻气——就洋溢着极其欠揍的高冷味道。

本文从图像级别进行游戏，跨过特征-规则-策略的显示分层，有一定的趣味性。说到机器学习最酷的分支，非Deep learning和Reinforcement learning莫属（以下分别简称DL和RL）。这两者不仅在实际应用中表现的很酷，在机器学习理论中也有不俗的表现。DeepMind 工作人员合两者之精髓，在Stella模拟机上让机器自己玩了7个Atari 2600的游戏，结果是玩的冲出美洲，走向世界，超越了物种的局限。不仅战胜了其他机器人，甚至在其中3个游戏中超越了人类游戏专家。

常规计算机算法能够处理复杂的大型数据结构，比如英特网和社交网络，但必须经过人类“手动”编程。神经网络则能通过示例学习如何识别复杂模式，但很难解析或组织复杂的数据结构。Alex Graves、Greg Wayne及同事，开发了一种名叫可微分神经计算机(DNC)的混合型学习机器，它由能从外部存储结构（类似常规计算机的随机存取存储器）读写数据的神经网络组成。因此，DNC能在没有先验知识和专门编程的条件下，仅仅通过试错方法来学习规划伦敦地铁路线，还能完成方块拼图游戏。

来看看今日头条首席科学家的论文：End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF使用LSTM方法进行序列标注，完成大规模标注问题

语音识别和动作识别（Action、Activities）  等一些时序问题，通过微分方式可以视为模式识别方法中的变长模式识别问题。语音识别的基元为音素、音节，字母和句子模式是在时间轴上的变长序列；Action的基元为Pose，action的识别为pose的时间序列模式。         我们跟随时间的脚步，试图解释现在、理解过去、甚至预测未来........ 在概率分析的层面，RNN通

        随机森林顾名思义，是用随机的方式建立一个森林。简单来说，随机森林就是由多棵CART（Classification And Regression Tree）构成的。对于每棵树，它们使用的训练集是从总的训练集中有放回采样出来的，这意味着，总的训练集中的有些样本可能多次出现在一棵树的训练集中，也可能从未出现在一棵树的训练集中。在训练每棵树的节点时，使用的特征是从所有特征中按照一定比例随机...

科学人的小品：恐怖谷：娃娃为什么很可怕？ 一、恐怖的来源        恐怖的来源：美学概念。思想对安全的认识，映射到美学领域，转化为美和丑。恐怖，是一种精心掩饰的丑陋。二、桑尼与C3PO        桑尼更接近于人，为什么没有陷入更深的谷底，因为桑尼更靠近表观的美学，而表观的美学却真正的代表了 内心的安全。

古老的哲学对科学有永远的借鉴意义，科学上的咬文嚼字往往会让其丧失完备性。          你看起来它有多好，它就有多好。本质只能通过表象来描述，在色即是空的逻辑里，图灵测试也许是最精准的AI测试方式。有多少人工就有多少智能。

1、塔奇克马2、机器人瓦力3.马文http://www.guokr.com/post/683881/

群论最初应用于高次方程解析解可解性的研究，致力于寻找方程解集的规则化和抽象化，并提取可解性的一般规律。在机器学习方面，模式分类主要应用数学方法，剥离概率范畴，一些模式分离的方法与方程解析形式化的方法有几分相似，群论方法也应用于机器学习领域。

      延陵季子2011年  8月27日 19:02   借鉴英文原文：Ripples in the Dirac Sea 当他试着用一种轻松的口吻诉说一些事情时，我会明白，其实我们都明白，在他的心里绝对不是平静，而是难以平复的涟漪。即使如波浪般翻滚的情绪，总是被他压制，在一个如胸怀宽广的海洋里，再大的风浪也只是涟漪。 人类已经没有了界限，不过归根结底只是在享受前人的恩赐。没有争端，这里已经有所...

NTM通过融合一个注意力处理过程进行交互的外部存储器（external memory），来增强神经网络的能力。新系统等同于图灵机或者冯·诺依曼体系，但每个组成部分都是端到端可微的，因此可以使用梯度下降进行高效训练。初步的结果显示神经网络图灵机能够从输入和输出样本中推理出（infer）简单的算法，如复制、排序和回忆。

        深度学习为深度神经网络机器学习。07年最先引起注目的是DNN，在语音识别上有突出的表现；深度CNN在机器视觉领域的超常表现引领模式识别领域科学界和工业界的潮流，基于图像数据本身的二维结构天然适合CNN处理；RNN对时序和变长数据的处理优势促使语音识别和视频分析又有较大发展；此外可应用于增强学习的新的深度网络形式可以完成游戏策略训练过程，提供端到端的 模型训练方式：DeepMind用...

系统论里面总是有一些通用的专业术语         比如复杂度、熵、焓，复杂度专门独立出来，成为复杂度理论        文章摘抄于：《非线性动力学》 刘秉政 编著  5.5 复杂性及其测度 热力学的几个专业术语         熵、焓、自由能、吉布斯自由能、复杂度         熵：体系混乱度（或无序度）的量度。S表示熵。也表示黑洞中不可用热量与其温度的比值。对于化学反...

一：关于框架       在第三版 张学工编著的 《模式识别》 第一章 概论里面第3页，1.3. 这样写着：模式识别解决问题的的主要方法是基于知识的方法和基于数据的方法两类；       （每一个作者都希望自己的所见所闻是正确的，这也仅仅是希望而已。因为这个希望后面有更深层的东西，自己的成果，别人的敬重，以及多年辛苦树立的权威，以及科学技术人员不能决定自己命运和方向的自卑感。当然这不是学者的错误，...

从图灵机的原始模型分析，神经图灵机包含两个基本组成部分：神经网络控制器和记忆库，控制器通过输入输出向量和外界交互。不同于标准神经网络的是，控制器还会使用选择性的读写操作和记忆矩阵进行交互。类比于图灵机，我们将网络的参数化这些操作的输出称为“读头”。输入向量和网络结构影响注意力的聚焦，决定寻址位置。

线性规划、整数规划、目标规划等方法其目标函数与约束条件都是决策变量的一次函数，全部为线性规划，具有统一的数学模型及如单纯形法这样的通用解法。1947年丹齐格（G.B.Dantzig）提出了线性规划的一般方法——单纯形法。随后专业丰富了线性规划的数学模型和求解方法，并深入分析细节，如对偶理论、线性目标规划等。关于一般非线性规划优化算法的求解，最优化方法一书已经介绍了很多的方法，比如有梯度下降法，坐标下降法，牛顿法和拟牛顿法，共轭梯度法。而机器学习中主要面对非线性问题，所使用的优化方法为非线性优化方法。

找工作时（IT行业），除了常见的软件开发以外，机器学习岗位也可以当作是一个选择，不少计算机方向的研究生都会接触这个。本文写出常见데机器学习데公式表示：1.朴素贝叶斯；2. 决策树；3.Logisitic回归；4. 线性回归 ； 5.KNN算法 ；6. SVM算法； 7.Boosting算法； 8. 聚类公式； 9. 10. pLSA 浅语义分析-SVD分解； 11.LDA-隐式狄利克雷; 12. GBDT ；13. 正则化； 14.离群点检测； 15.EM算法 ； 16. Apriori关联分析; 17.F

40个推荐链接

       回归分析是建模和分析数据的重要工具。本文解释了回归分析的内涵及其优势，重点总结了应该掌握的线性回归、逻辑回归、多项式回归、逐步回归、岭回归、套索回归Lasso Regression、ElasticNet回归、SoftMax回归等八种最常用的回归技术及其关键要素，最后介绍了选择正确的回归模型的关键因素。       当然数据并非我想面对的，所谓处理数据的根本目的是为了重建模型的结构...

TSVM 常见的解决未标注样本的方法有EM (Expectation Maximization) 算法 ,协同训练法,Transductive SVM 方法及最大熵判别法等.

第1部分:游戏引擎介绍， 渲染和构造3D世界；第2部份: 3D环境的光照和纹理；第3部份:内存使用，特效和API ；第4部份:模型与动画，细节级别；第5部分:物理，运动，效果 ；第6部分:声音系统，音频APIs ；第7部份:网络和连线游戏环境 ；第8部份:脚本系统 ；第9部分:现成产品与定做的游戏引擎设计工具，游戏特定主题；第10部分:人工智能和导航（路径发现） ； 第11部份:最后的章节-游戏的BOSS！

原文链接：http://blog.renren.com/GetEntry.do?id=723979478&owner=253982684文章链接：http://blog.youkuaiyun.com/cubuntu/article/details/8454290主流手机游戏引擎介绍：http://www.apkbus.com/android-1344-1.html摘要:

这篇博文真的很长，不过挺有意思。文章这样说：模型的自动组合，其实就是软件的自动组合，在有了这样的系统之后，任何软件都能自动组合出来，等到那一天，最后一位人类程序员就终于可以退休了。其实应该有겡复杂데过程，或者引入语义解析헤模型空间理论，对程序员所做데事情再进行另外一个系统的嵌入。

1.一个故事说明什么是机器学习 2.机器学习的定义 4.机器学习的方法 5.机器学习的应用–大数据 6.机器学习的子类–深度学习 7.机器学习的父类–人工智能 8.机器学习的思考–计算机的潜意识 9.总结 10.后记

近日，通过释放一组名为cuDNN的库，Nvidia将GPU与机器学习联系的更加紧密。据悉，cuDNN可以与当下的流行深度学习框架直接整合。Nvidia承诺，cuDNN可以帮助用户更加聚焦深度神经网络，避免在硬件性能优化上的苦工。当下，深度学习已经被越来越多的大型网络公司、研究员，甚至是创业公司用于提升AI能力，代表性的有计算机视觉、文本检索及语音识别。而包括计算机视觉等流行的领域都使用了图形处理单元(GPU)，因为每个GPU都包含了上千的核心，它们可以加快计算密集型算法。

veket儿童操作系统希望工具超过小puppy linux系统一个还在发展中的linux系统：