第 一 章 绪论

1.1 信息的概念

第一次对”信息“这个词产生量化概念的时候，是学高中物理听说的。大致意思是携带信息的物体不能超光速运动。具体细节记得不太清楚了，但这是第一次知道”信息“是一个可以量化的、严格的学术概念。

终于，学到了信息论。

信息论这里列举了三种概念类比：情报、知识、消息。这三者都是信息的载体。也就是说这三者为自然语言中的概念，而信息将具有更加严格的数学定义。同时还有一个东西，信号：是信息在信道传输中的物理载体。

祖师爷香农给出了信息的定义：信息是事物运动状态或存在方式的不确定性的描述。

祖师爷这番话着实有点让人摸不到头脑，书上更是说了一些非常玄学的话，例如”明天的天气“有不确定性，报文”母亲病愈“消除了不确定性等等，好像世间万物都有了他们自己的”信息量“。

但可惜的是学完这本书我们依然没办法计算出一篇报文的信息量，笔者认为信息量的概念只存在于通信系统当中。如果我们将鲁迅的短篇小说《故乡》逐字发出，那么我们可以依照现有的中文字典按照均匀分布计算出这篇报文发出了多少信息量。但是如果我们选择发送鲁迅小说全集，并规定发送”010“的时候代表发送了一篇《故乡》，我们很难相信这三位二进制数能与上者的信息量相匹敌。所以，笔者认为信息量的概念仅出现在已经确定的编码译码的通信系统当中，当我们选择用”010“代替《故乡》发送的时候，实际上是有个超级无敌大的译码函数（匹配字典）存在在信宿。同样，去掉新华字典里的生僻字或者加上更多的生僻字，一样会影响到逐字发送所计算出来的信息量。所以只有确定了编码译码（如何对信源符号进行分布）才能确定计算这个过程中的信息量。

当然，当信宿已经拥有鲁迅小说全集并通过”010“译码的时候，其实也是说明了信宿已经有了足够的信息，只需要传递”010“这么点信息就能消除对”发了哪篇小说”不确定性了。不得不说祖师爷的这短短几个字确实无懈可击，富有哲理。但是本书所学的一切，只能基于数学模型进行定量计算。

1.2 信息的度量

祖师爷直接给出了某符号的自信息量定义式：

这就是概率越小，不确定性越大，信息越多。

通信系统中有发有收，因此在接收者的角度，发来的消息不能全信，因为消息在信道中可能发生变异，那么这种变异也是有概率的，有概率就是有信息，故有了互信息的概念：

值得注意的是，信息并不能是负数。

将 当作 来处理的过程就是译码函数，写作：

因为电路不会写汉字也不会写英文，所以将汉字、字母用二进制数表示就有必要，这个过程就叫做编码。

那么信息论这本书就是在讨论如何给信源挑选最合适的编码函数，如何给信宿挑选最合适的译码函数，除了想传递更多信息外，还会关注即时性、误码率等客观问题。