cjl的博客

第八章 简单之美 布尔代数和搜索引擎介绍搜索，从索引出发德国的数学家莱布尼兹完善了二进制，用0和1表示它的两个数字，成为今天使用的二进制布尔代数十分简单，运算元素只有1（TRUE，真）和0（FALSE，假），基本运算只有与（AND）、或（OR）、非（NOT）三种，后来发现都可以转换成与非（AND-NOT）一种运算什么是搜索引擎：好的回答是拿图书馆的索引卡片做类比。每个网站就像图书馆里的一本书，我们不可能在图书馆书架上一本本地找，而是要通过搜索卡片找到它的位置，然后直接去书架上拿。图书馆的索引卡片

数学之美——隐马尔可夫模型雅格布森（Roman Jakobson）通信六个要素：发送者（信息源），信道，接受者，信息，上下文和编码信息，上下文（发送者）——编码（s1,s2…)——传递的信息（信道）——解码（o1,o2…)——接受的信息（接受者）其中s1,s2…表示信息源发出的信号，比如手机发送的信号。o1,o2,…是接收器(比如另一部手机)接收到的信号。通信中的解码就是根据接收到的信号o1,o2…还原出发送的信号s1,s2…根据接收端的观测信号o1,o2,o3…来推测出发送的信息s1,s2,s3

数学之美——谈谈分词分词 中国/航天/官员/应邀/到/美国/开会最简单、容易的办法：查字典。其实就是把一个句子从左向右扫描一遍，遇到字典里有的词就标识出来，遇到复合词(比如“上海大学”)就找最长的词匹配，遇到不认识的字串就分割成单字词。当我们从左到右扫描时，先遇到“中”这个字，它本身是一个单字词，我们可以在这里做一个切割，但是，当我们再遇到“国”字时，发现它可以和前面的“中”字组成一个更长的词，因此，我们就将分割点放在“中国”的后面。接下来，我们发现“中国"不会和后面的字组成更长的词，那么这个分割点

数学之美——统计语言模型假定S表示某一个有意义的句子,由一连串特定顺序排列的词w1,w2…wn组成，这里n是句子的长度。现在，我们想知道S在文本中出现的可能性，也就是数学上所说的S的概率P(S)。因此，需要有个模型来估算。既然S = w1,w2…,wn,那么不妨把P(S)展开表示:P(w1, w2, … , wn)= P(w1)· P(w2 l w1)· P(w3 l w1, w2) P(wn | w1,w2…,wn-1)从19世纪到20世纪初，俄国有个数学家叫马尔可夫( Andrey Marko