randy_01的博客

https://zhuanlan.zhihu.com/p/80517380

BP算法是神经网络的基础，也是最重要的部分。由于误差反向传播的过程中，可能会出现梯度消失或者爆炸，所以需要调整损失函数。在LSTM中，通过sigmoid来实现三个门来解决记忆问题，用tensorflow实现的过程中，需要进行梯度修剪操作，以防止梯度爆炸。RNN的BPTT算法同样存在着这样的问题，所以步数超过5步以后，记忆效果大大下降。LSTM的效果能够支持到30多步数，太长了也不行。如果要求更长的...

写在前面的话：《统计学完全教程》囊括了统计学的全部知识，共22章，由美国著名的学者沃塞曼所著。在nlp领域里统计学占据主导地位，没有了统计学，深度学习将无法构建损失函数，无法实现图模型的推理。推理算法主要依靠统计学，包括以拉普拉斯矩阵为基础的无向图卷积算子，上个世纪的PageRank算法，随机游走模型……当今的AI主要以从海量数据中寻找规律的方式来实现弱人工智能，包括特征的抽取（比如图卷积算子...

前言：本篇博客包括了随机变量和图模型推理之间的所有内容。学好《统计学》需要《微积分》，《线性代数》，《矩阵论》和《实变函数与泛函数分析》作为基础，另外再增加《凸优化》。如果只是应用的话，这些知识吸收60%就足够了，但是要搞研究的话，不仅要吸收80%以上，另外还要研究《神经生物学从神经元到大脑》和物理学，从中吸收灵感，为研究下一代AI打下好的基础，用几何问题解决代数问题是不可避免的。下一代AI的突破...

总述：https://blog.youkuaiyun.com/randy_01/article/details/80616681 这篇博客主要论述了矩阵理论的一般性，接下来将进一步深入探讨特殊矩阵以及应用。国外翻译版的《矩阵论》主要教会从业人员一种研究矩阵的方法论。纵观整个篇幅基本可以发现，研究矩阵的方法不外乎以下几种：①feature value decomposition②矩阵相似性~的研究③矩阵分块理论...

1.泛函数的几何意义2.共轭函数的几何意义3.凸函数的局部最优解就是全局最优解4.最优解的判断准则证明5.无约束二次规划解讨论6.分离超平面定理...

以数据驱动的AI，根本任务有两个：①建立系统的评价准则或者规则；②寻找最优的归纳偏置。找到最优的归纳偏置关键在于参数的优化算法。目前机器学习的参数优化算法集中在遗传算法，模拟退火，SGD等。1996年非常具有代表性的论文lasso在损失函数的多准则构建上做出了杰出贡献。这篇论文属于基础学科研究领域，对后来的AI理论发展起到了非常大的推进作用。在众多的AI公开课中，很少有从数学角度深入研究这个课题的...

前言注意：本书适用于对矩阵论，凸优化，泛函数分析，统计学有良好的基础并且有一定AI实践的人，因为本书会大量引入数学，AI基础研究内容。目前，机器学习很火热...

当下，深度学习技术之于深度学习可解释性，相当于历史上的蒸汽机之于热力学。瓦匠们发明蒸汽机后的几十年里，都没有理论解释产生，这个阶段是初级阶段，还不能真正带动社会变革。直到热力学诞生后，蒸汽机原理可解释了，然后被改进，产生了火车，轮船等，极大推动了社会进步。基础理论研究永远是社会进步的原动力。当下人工智能第三次复苏，相当于蒸汽机诞生后前几十年的初级阶段。说深度学习是黑盒子不可解释是因为没有诞生基础理...

凸优化在数学优化中有着重要且特殊的身份。数学优化是一个广泛的话题，理解凸优化之前，请先理解线性优化。在机器学习算法中，已知的比如LogisticRegression,SVM,都与数学优化有关，在数学中，不存在无约束优化问题。比较常见的构建损失函数方法，从最简单的两个向量的二阶范数的平方(KNN,Kmeans)到linearRegression、LogisticRegression的最小二乘模型，再...

导语：内积空间中的内积可以定义范数，反之，范数不一定非要内积来定义，所以说赋范线性空间是比内积空间更广泛的概念。距离可以用范数定义，反之，只有距离满足平移不变和齐次性才能定义一个范数，因此度量空间比赋范线性空间广泛。Banach空间是完备的赋范线性空间。Hilbert空间是完备的内积空间。所以Hilbert空间是Banach空间的特例，Banach空间是完备距离空间的特例。在数学里，尤其是在泛函分...

前言：矩阵论是对线性代数的延伸，很有必要深入研究。矩阵与泛函数分析和凸优化存在着密不可分的关系，尤其是内积空间部分。研究矩阵论可以加深对PCA，SVD,矩阵分解的理解，尤其是第一章入门的线性空间的理解，在知识图谱向量化，self_attention等论文中会涉及大量的矩阵论的知识。本系列博客对此做一个学习心得总结，省略掉矩阵的微分方程等运算部分，重点论述和AI相关尤其是与结构化约束和无向图推理相关...

　前年写了一篇关于"史上对BM25模型最全面最深刻解读以及lucene排序深入解读"的博客，lucene最后排序用到的思想是"从海量数据中寻找topK"的时间空间最优算法。在特定的场合，比如solr自带的搜索智能提示公能，当构建完三叉树，前缀匹配查找出所有的节点之后，也要用这种思想进行排序。根据这个思想构造出一个优先级队列，具有容量限制(K),精确的时间复杂度为KlgK+(n-k)lgK，最坏的时...

https://www.cnblogs.com/txq157/p/6067098.html

https://www.cnblogs.com/txq157/p/6420372.html

导语：现代数学入门的钥匙就是实变函数与泛函数分析。数学，物理学，计算机学科，神经生物学相互交叉构成了AI的基础。深入研究AI，尤其是神经规则推理以及下一代AI技术，必须修炼好内功。非数学专业的学生，可能学过傅立叶变换，方向导数与梯度这些。但是对这些概念的理解还需要继续深入，除了泛函数分析，与此相关的还有凸优化，矩阵论，这些都是必修的内功。关于数据结构，要达到能够独立设计优秀的数据结构的程度，不仅限...

写在前面的话:《凸优化》理论集成了矩阵论+泛函数分析，这门学科学好了可以使AI理论上升好几个层次。基础理论精进后就可以与物理学，计算机学以及神经生物学等学科结合搞AI基础研究---从0到1的研究，比如上个世纪的lasso成果。目前的AI基础研究切入点在突破现有深度学习的瓶颈，即如何突破深度学习对海量数据过度依赖的笨重式的感知智能，推动认知智能的前进，去年的谱卷积算子，拉普拉斯矩阵的特征值分解，图模...

谈到傅立叶变换，必然离不开基本的无穷级数。无穷级数是高等数学的一个重要组成部分，它是表示函数，研究函数性质的以及进行数值计算的一种工具，本文先讨论常数项级数，接着讨论函数的幂级数，然后讨论函数的三角幂级数分解，最后到傅立叶级数然后到傅立叶变换。在介绍傅立叶变换时，会结合数学和物理，自然常识，尽量做到深入浅出。本文将按照以下篇幅进行论述：一、常数项级数以及幂级数二、函数的幂级数展开三...

author:佟学强abstract文章的标题想了很久，有点儿勉强了，因为让机器实现逻辑推理还差得远。在Ai领域里，目前统计学派和联结主义学派比较盛行，但是类脑学科还没突破，所以当下的Ai都是弱Ai。目前取得突破的基本都是在视觉和语音领域，nlp的进展非常缓慢。众所周知的人类两种智能归纳总结和演绎推理，联结主义只是解决了归纳总结问题，而在nlp中联结主义集中表现在文字高阶特征的抽取上，比如...

导语：现代数学入门的钥匙就是实变函数与泛函数分析。数学，物理学，计算机学科，神经生物学相互交叉构成了AI的基础。深入研究AI，尤其是神经规则推理以及下一代AI技术，必须修炼好内功。非数学专业的学生，可能学过傅立叶变换，方向导数与梯度这些。但是对这些概念的理解还需要继续深入，除了泛函数分析，与此相关的还有凸优化，矩阵论，这些都是必修的内功。关于数据结构，要达到能够独立设计优秀的数据结构的程度，不仅限...

黎曼积分是逐项可积的，对于逐项不可积的函数黎曼积分无能为力，需要Lebsgue积分。本篇先从最基本的导数开始，然后到微分，最后到黎曼积分，下一篇讲述Lebsgue积分和实变函数的积分，后面再讲度量空间，泛函数与线性算子，最后到希尔伯特空间的几何算子。另外还增加《凸优化》的部分。本篇文章重点关注的是数学思想，而不是现有结论的重复论述。数学证明最能反映一个人的数学思维，而不是解题。当年牛顿被苹果砸...