深思深练 厚积薄发

自然语言处理之主题模型文本分类LDA主题模型1.主题模型（Topic Model）主题模型是以非监督学习的方式对文集的隐含语义结构进行聚类的统计模型。主题模型主要被用于自然语言处理中的语义分析和文本挖掘问题，例如按主题对文本进行收集、分类和降维。隐含狄利克雷分布是常见的主题模型。2.隐含狄利克雷分布LDA（Latent Dirichlet Allocation）1）贝叶斯模型LDA模型基于贝叶斯模型，2）多项式分布多项分布，是二项分布扩展到多维的情况。 多项分布是指单次试验中的随机变量的取

自然语言处理之混合高斯模型EM估计公式推导模型理解1、仍然是一个概率模型，高斯混合模型是对高斯模型进行简单的扩展，GMM使用多个高斯分布的组合来刻画数据分布，每个高斯分模型就代表了一个类（一个Cluster），对样本中的数据分别在几个高斯模型上投影，就会分别得到在各个类上的概率；2、所有高斯分量的权重系数大于零，且和为1； 3、混合高斯模型中待求的参数θ包括每个分量的高斯分布均值和方差，各个分量权重；4、初始化GMM时，一般传入“混合高斯分布分量数”、“约定协方差矩阵属性（高斯分布的形状）”

自然语言处理之中文平均信息熵课程大作业 欢迎讨论信息熵1.信息熵定义[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mpqE0SXy-1621346255418)(自然语言处理之中文平均信息熵.assets/shannon.png)]1948年，香农提出了信息熵的概念，解决了对信息的量化度量问题。如今熵 (Entropy)，信息熵，已经是机器学习中绕不开的一个概念。信息熵常被用来作为一个系统的信息含量的量化指标，从而可以进一步用来作为系统方程优化的目标或者参数选择的判

Pytorch神经网络入门，使用MNIST数据集的手写数字识别，小白入门，尽量把每一步搞明白，记录遇到的问题。实现了一个卷积神经网络和前馈神经网络，

一、不确定推理预备知识1.不确定性推理的含义2.不确定推理基本问题二、证据理论1.可信度方法2.证据理论预备知识3.D-S理论4.一种特殊的概率分配函数模型5.简单例子三、概率论预备知识1.概率统计2.贝叶斯公式四、贝叶斯网络概率推理1.贝叶斯网络概述2.预测和诊断推理...

# 一、什么是知识？## 1.知识1）**知识定义**：Feigenbaum: 知识是经过消减、塑造、解释和转换的信息Bernstein：知识是由特定领域的描述、关系和过程组成的。知识库的观点：知识是某领域中所涉及的各有关方面的一种符号表示。2）**知识分类**：事实性知识：又称为叙述性知识，是用来描述问题或事物的概念、属性、状态、环境及条件等情况的知识。过程性知识：描述做某件事的过程，问题解决所要进行的操作。行为性知识：不直接给出事实本身，只给出它在某方面的行为，表现。 元知识：有关知

一、谓词逻辑表示法1.谓词逻辑表示法中的一些基本概念2.谓词公式3.变元4.谓词逻辑表示法描述二、谓词公式与子句集1.谓词演算：等价式和永真蕴含2.什么是子句集3.子句集的求取4.反证法、子句集的应用三、一阶谓词逻辑推理及应用1.归结原理2.归结反演3.归结过程中的策略四、简单例子以下通过一个很简单的经典例子理解归结推理：1）问题描述设A，B，C三人中有人从不说真话，也有人从不说假话，某人向三人分别提出一个问题 ：谁是说谎者？A答：“B和C都是说谎者”；B答：“A和C都是

一、问题描述方法：问题归约1.问题归约描述问题归约法与之前提到的状态空间法都是对进行问题描述，转换为符合或者图，但是思路不同。有许多问题可以通过一系列变换而最终变为一个子问题集合；这些子问题的解可以直接得到，通过解决这些子问题，从而就解决了初始问题。这样一种解决问题的思路就称为是问题归约法。例如之前的汉诺塔问题，在状态空间描述中，表示的是ABC三个金片的状态 S=(i,j,k)（即位于什么位置），而在问题归约描述中，描述问题的思路是将这个复制问题拆分成几个子问题，子问题完成了，那么总的问题也就完成了。

应用A*算法解决十五数码问题（N数码），算法介绍：问题求解：启发式搜索算法，参考：Python实现A算法解决N数码问题 / A启发式搜索算法详解。完整代码：Python解决十五数码问题（程序、报告）1.问题描述在4×4的棋盘上，摆有十五个棋子，每个棋子上标有1至15的某一数字。棋盘中留有一个空格，空格用0来表示。空格周围的棋子可以移到空格中（即空格可以上下左右移动）。要求解的问题是：给出一种初始布局：[11, 9, 4, 15, 1, 3, 0, 12, 7, 5, 8, 6, 13, 2, 10, 1

1.八数码问题描述在3×3的棋盘上，摆有八个棋子，每个棋子上标有1至8的某一数字。棋盘中留有一个空格，空格用0来表示。空格周围的棋子可以移到空格中（空格上下左右移动）。要求解的问题是：给出一种初始布局（初始状态设为283104765）和目标布局（目标状态设为123804765），找到一种最少步骤的移动方法，实现从初始布局到目标布局的转变。2.广度优先搜索...

A* 算法是启发式搜索算法中的经典，经常应用于路径搜索和规划中。这里以八数码问题状态空间图的搜索为例，初步介绍以A*算法为代表的启发式搜索。# 一、启发性信息和估价函数## 1.启发性信息：启发式搜索是利用知识来引导搜索过程的，达到减少搜索范围的目标，使得尽量先走“最有希望的方向”，从而降低问题复杂度。**这里就是要根据知识，设计启发性信息（启发函数）**，启发性信息可以：1）帮助确定扩展节点的信息2）有效地帮助决定哪些后继节点应被生成3）能决定在扩展一个节点时哪些节点应从搜索树上被删除启发性

什么是问题求解？问题求解可以理解为利用知识，尽可能有效的找到问题的解，或者最优解的过程，主要包括：1）问题描述方法：状态空间法，与或树表示法；2）搜索方法（搜索策略）：盲目搜索，启发式搜索。一、状态空间问题描述1.问题表示1）初始状态集合：当前所处的环境的集合。2）操作符集合：把一个问题从一个状态变换为另一个状态的动作集合。3）目标测试函数：确定一个状态是否是目标。4）路径费用函数：从一个状态到另一个状态的代价等。2.状态空间法状态空间法是以状态和算符为基础来表示和求解问题的。1）状态

一、什么是人工智能1.从学科的角度计算机科学中涉及研究、设计和应用智能机器的一个分支。近期目标：研究用机器来模仿和执行人脑的某些智力功能，并开发相关理论和技术。2.从能力的角度智能机器所执行的通常与人工智能有关的功能，如判断、推理、证明、识别、感知、理解、设计、思考、规划、学习和问题求解等思维活动。人的智能与人工智能不同，对于当前对于人工智能的应用，目的是使计算机有智慧、更聪明、更有用，延伸人的智力。3.人工智能的三个要素“数据、算法、算力”这三点是人们常说的三要素，对于本世纪人工智能的算法框架