今天回学校做新一届的电赛宣讲了，所以更新的比较晚。未来也会想办法把电赛做过的东西放上来吧。

信息论复习-有噪信道编码定理

第六章有噪信道编码定理就是和第五章相呼应的，第五章叫做香农第一定理，那第六章这个自然就是香农第二定理了。

我对第六章有同样的感觉，就是它太底层了，完全就是为了架构信息论这个模型而存在的，但是我们学校一般又不考证明题，就显得第五章第六章很单薄。所以第六章能出的题目就是给个矩阵算算不同译码规则的平均错误概率了。

平均错误概率和译码规则

这是这章两个核心知识点，平均错误概率必须是确定了译码规则才可以计算的，那译码规则也叫译码函数，写作函数的样子，比如我们考虑一个转移矩阵

我们可以这样决定译码函数，那就是哪个变异成的概率最大就选哪个：

这种就叫最大似然译码准则，他是从先验概率的角度出发的，也就是说我们是从每一列去观察哪个最大。

转移错误矩阵就成这样了，值得注意的是我们还没讨论过输入分布，没错最大似然译码准则和输入分布没有关系，也就是说分布不同，这种准则不一定能得出一种性能好的译码规则。

根据分布乘上错误概率即可计算出平均错误概率。

书上这个地方写的真是一言难尽啊，它会定义一个这个东西作为译码函数的指向，然后用求和公式，后验概率啥的会来回倒腾，还有什么对行求和和对列求和，在不同译码规则有不同的意义。

这都啥乱七八糟的，其实没那么复杂，直接写出联合分布，去掉译码函数选择的部分，剩下的就是错误发生的概率了。

例如我们规定输入分布：

即可算出联合分布：

剩下的加起来就是错误概率了，说白了就是在整个事件中划去三种能正确译码的情况，剩下的就都是错的了。

聪明的读者应该发现了，如果想让错误概率最小，这个划去是不是更合适，没错这就是所谓的最小错误概率准则。这样划错误概率最小：

所以我说这章除了证明真的什么内容都没有，这个最小错误概率准则也不难算啊，前面那个最大似然准则不是来搞笑的吗，他还特意说最大似然准则在输入分布为均匀的时候等价为最小错误概率准则，我觉得这真有点画蛇添足，如果我知道了输入分布是均匀的，那我高低得把错误概率算出来吧，那我最后还是要把联合分布算出来，最大似然准则只能适用于完全不知道输入的情况，弄出一个看似还行的译码规则，如果一旦开始讨论输入分布了，那我觉得最大似然准则就毫无意义了。

总之，这两个准则的错误概率都可以这样算，也最直观。

有噪信道编码定理

又称香农第二定理，它说明了只要码长够长，我就能找到一种编码和译码规则使错误概率无限小。

这个定理其实用到了码距的概念，当码字足够长的时候，每个码之间的距离都很远，因此一个码想要彻底变成另一个码，或者进入另一个码的范围内，都是很困难的。

那这个所说的另一个码的范围其实就是最小距离译码准则，当码距挺大的时候，我们可以把接收码译成距离它最近的码字，因为这样错误的概率看起来比较小。没错这个思路有点像最大似然译码准则，书上也有定理在二元对称信道中他们俩就是等价的，因为都只从变异概率去考虑。

但是他们的原理还是挺不一样的，最小距离译码准则是建立在有冗余的情况下，冗余的部分作为禁用码字可以起到纠错、检错的作用，而最大似然准则往往是没有添加冗余，仅从概率的角度去”蒙“正确答案。

与通信原理结合

通信原理中我们学习了纠错码的各种编码方式，那些复杂的编码译码方式其实与信息论中三个准则都毫无关系，因为那些方式都是尝试去算出正确答案，而信息论仅从概率的角度去”蒙“答案。

但是，通信原理纠错码里面也强调了一个的事情那就是：

没错，复杂的分组码循环码竟然最后都受限于码距了，这个小小的码距钉死了一个码组的纠错能力和错误概率，也就是说，无论多高大上的码组在纠错性能上都与70年前香农想出的最小距离译码准则毫无区别，尽管它们看上去思想不同，方法不同，但是殊途同归，他们的错误概率都是当码字中

个符号出错后，就没办法准确判断到底发了什么码了，这就是信息论从信息冗余度的角度钉死了一个通信系统的性能，后面烦心设计的各类码更多的都是为了满足方便传输和方便译码转换。可见信息论的思想之深邃，笔者不禁感叹世间万千信息的秘密，都蕴藏才这几个矩阵当中。