考完了，出分之后再做答案解析。 回忆版本站链接： 信息论2023-2024_PDF00.pdf (xilluillblog.cn)

没想到被催更了，本来都打算不更第八章了，都是应用的东西，但是既然有朋友想看，我就速度更新。 第八章-无失真信源编码 嘿嘿，终于到最后一章了，这章要与第五章结合食用，如果有通信原理的基础，那这章不要太简单。好吧它其实不简单，只是我们学校比较仁慈。 香农第一定理告诉我们，对于一个的信源，我们总能找到一种编码方式实现无冗余编码（最低冗余编码）。那这种编码是什么呢，香农不知道，但是来自MIT的本科生...

昨晚跨年去了，断了日更，今天补上。 去年乏善可陈，悟已往之不谏，知来者之可追。过去的就过去了，不要影响生活和未来了。 也祝大家新年快乐。 第七章-保真度准则下的信源编码 这张难度挺高的，主要是不好理解。各种最小的最大值，最大的最小值，概念非常复杂，我也只好总结一下了。 我决定不按书上来写，我们先对比一下信道容量和今天要学的信息率失真函数这两个的单位都是描述的都是信息传递速率，前者是互信息上限...

今天回学校做新一届的电赛宣讲了，所以更新的比较晚。未来也会想办法把电赛做过的东西放上来吧。 信息论复习-有噪信道编码定理 第六章有噪信道编码定理就是和第五章相呼应的，第五章叫做香农第一定理，那第六章这个自然就是香农第二定理了。 我对第六章有同样的感觉，就是它太底层了，完全就是为了架构信息论这个模型而存在的，但是我们学校一般又不考证明题，就显得第五章第六章很单薄。所以第六章能出的题目就是给个矩...

复习终于进入了编码的学习，笔者同时学习通信原理和信息论的时候觉得理论很完备，但是在复习的时候才发现信息论和通信原理十分割裂，前四章着重讲解了信源信道数学模型的严格性，但是在隔壁的通信原理当中我们早已用着香农公式把信道容量、误码率算的明明白白，再回头来看信息论的内容，不免觉得过于底层。后四章为编码理论建立了严格的数学模型，但殊不知在通信原理里当中我们已经学习了非常多非常实用的编码，信源编码、加...

在开始之前，先补充一下离散信源的一些知识点。 平均互信息公式是这个： 如果是两级信道则会有平均联合互信息： 就是一个替换关系，在互信息这个概念前可以有三种前缀：平均、联合、条件。平均其实就是每个单独互信息的期望，是一个统计参数。联合就是多个事件联合发生的互信息，条件则是在指定某事件下的互信息。 最简单的条件互信息如下：（在说联合和条件互信息的时候是省略了”平均“） 联合互信息也可以...

信息论复习-离散信源与信道 第二章 离散信源 长这样的叫离散信源: 就一个离散变量分布呗，简单。如果这个分布是平稳的，那他就叫离散平稳信源，一般在讨论离散扩展信源的时候都是在离散平稳信源基础上的，毕竟都不平稳了，那我讨论一个序列还得非时候，多麻烦。 书上说平稳性和记忆性是两个并列的关系，他们俩可以组成四种不同属性的信源，但据我观察，平稳有记忆和非平稳无记忆其实很少出现，前者是因为有记忆还能...

第 一 章 绪论 1.1 信息的概念 第一次对”信息“这个词产生量化概念的时候，是学高中物理听说的。大致意思是携带信息的物体不能超光速运动。具体细节记得不太清楚了，但这是第一次知道”信息“是一个可以量化的、严格的学术概念。 终于，学到了信息论。 信息论这里列举了三种概念类比：情报、知识、消息。这三者都是信息的载体。也就是说这三者为自然语言中的概念，而信息将具有更加严格的数学定义。同时还有一个...