学习之《数学之美》

学习之《数学之美》

20170808 周二

今天开始看书--吴军的《数学之美》，我现在的专业是信息与通信工程，与书中介绍的内容很相关，刚看完了序言等部分，觉得很好，值得好好看一下。现在便开始，好好做些看书笔记。

第一章，用语言的方式探寻数学运用。

第二章，讲述了语言识别开始时，科学家走的弯路，后来基于统计方法才有了新的突破。

20170809周三

第三章，用概率论的角度说明现代语音识别的方法。看着精妙的数学公式，真的很神奇。

第四章，分词法，此地安能居住，其人好不悲伤。分词法的进展。

第5章，隐含马尔科夫模型，建立通信模型。有些地方还要理解。隐含马尔科夫很重要，但是我还没很好的理解，机器学习都要用词算法，有必要好好学习下呀。鲍姆-维奇训练算法。维特比解码算法。都需要再学习研究。

第六章，香农。信息量=不确定性的多少。信息熵：H(x)=-E(P(x)logP(x))，随机变量X的概率对数和。X的不确定性越大，熵越大。冗余度：重复信息程度。可利用熵，大大压缩文件。

信息是消除系统不确定性的唯一办法。增加相关信息，一定会减小熵。

互信息Ix,y=Hx-Hx|y;即Y信息与X信息的相关度，越相关，Ix,y越接近于1 。

相对熵KL（x||y）：差异越大，相对熵越大。

相关阅读：托马斯·科夫的《信息论基础》。物理上的熵，指特定系统的无序性度量。信息熵，使用数学的方法定义了信息的不确定性（信息有无作用），从而能用数学的方法，解决信息这样抽象的内容。

小思：运用数学的其中一点好处，是提供可证明，基本绝对正确的前进方向；把复杂事物抽象出重要要素，用简单，简洁的方式，证明、表述事物的正确、逻辑。

小思2：人类真厉害，在万千理论中，探寻出信息论，然后解决语言与数学（机器）之间的关联、交互，在哲学角度上，可以说是一次思想的突破与飞跃。

小思3：我心里一直想做一件事，就是人工智能语言识别及职能控制