【信息论】《吴军—信息论30讲》学习笔记（二）：信息正交性 在信息很多的情况下如何作决策？

这一讲，吴军老师用告诉你，当你面对信息很多时，如何利用和组合信息，提高自己的决策水平。

首先，信息和能量具有一定的相关性，但是它们的性质完全不同，比如信息并不具有守恒的特点。你将一条信息告诉别人，你自己并不损失这条信息。

除此以外，不同信息彼此之间的关系，以及使用相同或者不同信息带来的结果，它在这些方面和能量也完全不同。

我们今天就从信息和能力的对比出发，谈三个获得有效信息和利用好信息的要点。

首先，和能量不同，相同的信息使用两次，不会产生两倍的效果。比如说，利用语言模型，也就是根据上下文信息建立起来的，关于句子中每一个词出现频率的统计模型，可以将拼写的错别字减少70%以上。于是有人想了，能否再从句子的尾巴上倒着扫描一遍，看看能否将错别字进一步减少。结果是没有半点提高，虽然个别的错字改对了，却也有个别正确的字改错了，两者正好相抵。

其次，如何发挥信息叠加的力量呢？我们做机械运动时，为了获得最大的加速度，用力（或动量）的方向要一致，而在利用多种信息消除不确定时，所采用的信息是正交的（垂直的）时候，效果最好。

大多数时候，合力到不了各个动力的总和。在使用信息时也是如此，如果我们利用了多个信息源的信息，大部分效果达不到每一种信息所产生的效果的总和。

比如，2002年美国国家标准与技术研究所（NIST）在测试各单位语音识别的效果时，各个研究单位一共提出了8种主要的改进方法，你可以认为采用了八种不同的信息，从各个角度来消除