budding0828

第5章 隐含马尔科夫模型通信模型通信的六要素：发送者，信道，接受者，信息，上下文，编码。问题：如何从接收端的观测信号o1,o2,o3...o_1,o_2,o_3...o1​,o2​,o3​...来推测信号源发送的信息s1,s2,s3...s_1,s_2,s_3...s1​,s2​,s3​...？解：找最可能产生观测信号的源信息。由于o1,o2,o3...o_1,o_2,o_3...o1​,o2​,o3​...一旦产生就不会改变，所以此时P(o1,o2,o3,...)P(o_1,o_2,o

第11章 如何确定网页和查询的相关性几个概念：关键词的频率/单文本词频（Term Frequency，TF）：关键词次数除以网页的总字数。停止词（Stop Word）：度量时不需要考虑的词。例如中文的“的，和，中”等。逆文本频率指数（Inverse Document Frequency，IDF）：IDF=log(D/Dw)IDF=log(D/D_{w})IDF=log(D/Dw​) ，其中DDD是全部网页数，而DwD_{w}Dw​是关键词出现过的网页数。作为每个搜索关键词的权重。（例如“原子能

第10章 PageRank——Google的民主表决式网页排名技术搜索结果的排名取决于两组信息：关于网页的质量信息，和这个查询与每个网页的相关性信息。PageRank核心思想：在互联网上，如果一个网页被很多其他网页所链接，说明它受到普遍的承认和信赖，那么它的排名就高。（解决网页质量的问题）PageRank的计算方式：计算搜索结果的网页排名过程会用到网页本身的排名。使用一个二维矩阵相乘来迭代解决：首先假定所有网页的排名是相同的，并且根据这个初值，算出各个网页的第一次迭代排名，然后再根据第一次迭代

第9章 图论和网络爬虫在网络爬虫中，使用一个“哈希表”的列表来记录网页是否下载过的信息。如何构建一个网络爬虫：1）下载网站的顺序：BFS为主（横向，爬取最重要的网页，如首页）DFS为次（一次下完整个网站，避免多次握手）网络爬虫对网页遍历的次序不是简单的BFS或者DFS，而是有一个相对复杂的下载优先排序的方法，管理这个优先级排序的子系统一般称为调度系统（Scheduler）2）页面分析和URL提取解析HTML3）记录哪些网站下载过：URL表提高哈希表服务器的通信：

第8章 简单之美——布尔代数和搜索引擎的索引一个搜索引擎大致需要做3件事：1）自动下载尽可能多的网页；2）建立快速有效的索引；3）根据相关性对网页进行公平准确的排序。数据库SQL支持各种复杂的逻辑组合，背后原理是基本布尔运算。而搜索引擎会把用户的查询语句转换成布尔运算的算式。搜索引擎的索引是一张大表：表的每一行对应一个关键词，而每个关键词后面跟着一组数字，是包含该关键词的文献的序号。分布式：根据网页序号将索引分成很多份，分别存储在不同的服务器中。每当接受一个查询时，这个查询就被分发到许许多多服务

第6章 信息的度量和作用信息熵（Entropy）背景：信息量等于不确定性的多少可以用bit这个概念来衡量信息量（所以加上了log函数）信息熵公式：其中P(x)P(x)P(x)是x发生的可能性。变量的不确定性越大，熵也就越大。信息熵的取值范围是：[0,log2(n)][0, log_2(n)][0,log2​(n)] ，其中n代表分类的数目。其推导过程可以参考：https://blog.youkuaiyun.com/sinat_26811377/article/details/10199235

第4章 谈谈中文分词中文分词方法的演变：查字典：遇到复合词就找最长的词匹配，遇到不认识的字串就分割成单字词。缺点：无法解决二义性问题（如，发展中国家，发展-中-国家，发展-中国-家）统计语言模型不需要穷举所有的分词方式，可以采用动态规划或者维特比算法来快速找到最佳分词。关于分词的颗粒颗粒度大，翻译效果最好。（例如“联想公司”，作为一个整体）颗粒度小，网页搜索好。（例如“清华大学”和“清华”）...

第3章：统计语言模型自 然 语 言 从 它 产 生 开 始 ， 逐 渐 演 变 成 一 种上 下 文 相 关 的 信 息 表 达 和 传 递 的 方 式 ， 因 此 让 计 算 机 处 理 自 然 语 言 ， 一个 基 本 的 问 题 就 是 为 自 然 语 言 这 种 上 下 文 相 关 的 特 性 建 立 数 学 模 型 。 这个 数 学 模 型 就 是 在 自 然 语 言 处 理 中 常 说 的 **统 计 语 言 模 型 （ Statistical Language Model ） **， 它

第2章：自然语言处理——从规则到统计虽然传递信息是动物也能做到的，但是利用语言来传递信息是人类的特质。基于规则的自然语言处理：缺点：需要很多的文法规则。这种基于规则的做法和程序编译很像：自然语言是上下文有关文法；计算机程序语言是上下文无关文法。基于统计的方法：其核心是通信系统+隐含马尔科夫模型...

第1章：文字和语言vs数字和信息文 字 按 照 意 思 来 聚 类 ， 最 终 会 带 来 一 些 歧 义 性 ， 也 就 是 说 有 时 弄 不 清 一个 多 义 字 在 特 定 环 境 下 它 到 底 表 示 其 中 的 哪 个 含 义 。（这也是为什么上下文建立的概率模型再好，也有失灵的时候）文字只是信息的载体，而非信息本身。信息的冗余是信息安全的保障。（例如罗塞塔石碑）阿拉伯数字的出现，标志着数字和文字的分离。...

序因为想对互联网的新兴技术有一些更好的了解，不断拓展自己的知识面，所以想到了吴军老师的《数学之美》，个人非常推荐大家阅读，可以对各种技术有一个入门的了解。吴军老师的讲法也很生动，对部分章节的内容有兴趣的，也可以深入去了解。为了更好地理解书中的内容，我根据自己的思维方式做了一些整理。并且对一些相对难懂的片段，我做了进一步的扩展和深究。将自己的笔记分享出来，希望能够和大家一起学习和探讨。电子书pdf我已经上传到github仓库中，方便大家下载。目录...