《深度学习》—学习笔记

最新推荐文章于 2025-02-28 23:54:24 发布

原创最新推荐文章于 2025-02-28 23:54:24 发布 · 402 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#算法 #机器学习

深度学习专栏收录该内容

73 篇文章

订阅专栏

英文版（原版）
Deep Learning
中文版（翻译版）
deeplearningbook-chinese

第一章引言

人工智能（artificial intelligenc， AI）

抽象和形式化的任务
对人类智力来说非常困难，但对计算机来说相对简单的问题（比如，可以通过一系列形式化的数学规则来描述的问题。）可以迅速解决。
主观和直观的任务
对人来说很容易执行，但很难形式化描述的任务（比如，人们所说的话或图像中的脸）是人工智能的真正挑战。
解决方法
针对这些比较直观的问题，可以让计算机从经验中学习，并根据层次化的概念体系来理解世界，而每个概念则通过与某些相对简单的概念之间的关系来定义。让计算机从经验获取知识，可以避免由人类来给计算机形式的指定它所需要的所有知识。层次化的概念让计算机构建较简单的概念来学习复杂概念。如果绘制出这些概念如何建立在彼此之上的图，将得到一张“深”（层次很多）的图。称这种方法为AI深度学习（Deep Learning）。

知识库（knowledge base）
将关于世界的知识用形式化的语言进行硬编码（hard-code）。计算机可以使用逻辑推理规则来自动的理解这些形式化语言中的声明。

机器学习（machine learning）
依靠硬编码的知识体系面对的困难表明，AI系统需要具备自己获取知识的能力，即从原始数据中提取模式的能力。引入机器学习使计算机能够解决涉及现实世界知识的问题，并能做出看似主观的决策。

表示学习（representation learning）
简单机器学习算法的性能在很大程度上依赖于给定数据的表示（representation）。然而，对于许多任务来说，很难知道应该提取哪些特征。解决这个问题的途径之一是使用机器学习来发掘表示本身，而不仅仅把表示映射到输出。学习到的表示往往比手动设计的表示表现的更好。并且他们只需最少的人工干预，就能让AI系统迅速适应新的任务。

深度学习（Deep Learning）
表示学习从原始数据中提取高层次、抽象的特征是非常困难的。深度学习通过其他较简单的表示来表达复杂，解决了表示学习中的核心问题。深度学习让计算机通过较简单概念构建复杂的概念。

第一部分应用数学与机器学习基础

第二章线性代数

线性代数作为数学的一个分支，广泛应用于科学和工程中，线性代数主要是面向连续数学。

范数

在这里插入图片描述

特征分解

通过分解矩阵来发现矩阵表示成数组元素时不明显的函数性质。
在这里插入图片描述

奇异值分解

在这里插入图片描述

Moore-Penrose伪逆

在这里插入图片描述

迹

在这里插入图片描述

行列式

在这里插入图片描述

第三章概率与信息论

概率论是用于表示不确定性声明的数学框架。它不仅提供了量化不确定性的方法，也提供了用于导出新的不确定性声明（statement）的公理。在人工智能领域，概率论主要有两种用途。首先，概率法则告诉AI系统如何推理，据此设计一些算法来计算或者估算由概率论导出的表达式。其次，可以用概率和统计从理论上分析提出的AI系统的行为。
概率论能够提出不确定的声明以及在不确定性存在的情况下进行推理，而信息论能够量化概率分布中的不确定性总量。

信息论

信息论是应用数学的一个分支，主要研究的是对一个信号包含信息的多少进行量化。
信息论的基本想法是一个不太可能的事件居然发生了，要比一个非常可能的事件发生，能提供更多的信息。
需要通过这种基本想法来量化信息。特别的，

非常可能发生的事件信息量要比较少，并且极端情况下，确保能够发生的事件应该没有信息量。
较不可能发生的事件具有更高的信息量。
独立事件应具有增量的信息。

结构化概率模型

在这里插入图片描述

第四章数值计算

机器学习算法通常需要大量的数值计算。这通常是指通过迭代过程更新解的估计值来解决数学问题的算法，而不是通过解析过程推导出公式来提供正确解的方法。常见的操作包括优化（找到最小化或最大化函数值的参数）和线性方程组的求解。对数字计算机来说实数无法在有限内存下精确表示，因此仅仅是计算涉及实数的函数也是困难的。