信息论复习-离散信源与信道

第二章离散信源

长这样的叫离散信源:

就一个离散变量分布呗，简单。如果这个分布是平稳的，那他就叫离散平稳信源，一般在讨论离散扩展信源的时候都是在离散平稳信源基础上的，毕竟都不平稳了，那我讨论一个序列还得非时候，多麻烦。

书上说平稳性和记忆性是两个并列的关系，他们俩可以组成四种不同属性的信源，但据我观察，平稳有记忆和非平稳无记忆其实很少出现，前者是因为有记忆还能做到平稳其实挺苛刻的，后者是在信息论中出现少，毕竟就我们浅显的随机过程基础也就到能看懂平稳过程这了。

所以信息论讨论的无外乎三种信源，平稳信源和非平稳有记忆的马尔可夫信源，和在平稳信源基础上得到的扩展信源。

平稳信源最重要的参数就是它的信息熵：

这个反应了”平均符号信息量“，所以可以这么理解：

但信息熵和平均符号信息量是两个东西，如果给定了一串序列”1145141919810“和各数字的概率分布，那么可以先算总信息量，再除以序列长度，得到该序列的平均符号信息量，这个值会趋近，类似于频率和概率的关系。

也可以用状态符号概率矩阵和状态转移矩阵一起来描述这个过程。

马尔可夫信源也有信息熵的概念，但是它是非平稳过程，所以讨论某一时刻的信息熵没有意义，马尔可夫信源讨论的是当序列长度N趋近无穷的时候的极限信息熵，有点古典概型用频率代替概率那种感觉。

想求这个极限信息熵需要两步：

通过状态转移矩阵列方程计算出每种状态的概率
对每种状态下的加权求和（求期望）

计算状态概率的时候需要选取马尔可夫链中的闭集，例如图上的与，与，而因为无法再回到该状态（无法遍历），称之为过渡状态，因此不需要计算的概率（极限情况下概率也趋于0）

第三章离散信道

本章开始研究信道的数学模型，信道后接收和发送有可能不是一个东西，因此信道会对信息的传输造成影响。

从先验的角度上来看存在一个的先验概率，我习惯称它为变异概率，它描述了发送变成的概率，只要它是概率就可以求信息，条件信息熵公式如下：

展开后是一个二次求和的公式，他还可以写成和变形成方便用联合概率计算的形式，这里就不再多写，仅展示笔者认为最容易记忆和理解的一个形式。

那么描述这个变异概率的信息熵被称之为噪声熵，因为变异是噪声引入的，加性噪声会随机变化影响信号的判决造成误判，但是它不一定会影响信息传输，我们先提出一个相对的概念，损失熵：

直观上理解就是说，接收端知道有这个发送变成和发送变成的变异情况，因此收到的时候究竟把它当作什么，存在一个不确定性，只能选择一个更容易是对的译码函数使用，即使这样使用，或者运气好译码正确了，但是怀疑的种子已经埋下，接收方永远无法达到知道那天发送方到底发了啥的真实。这种情况就是对发送的信息造成了损失，又称之为信道疑义度。

损失熵从名字上直观感受就是对信息传输造成了损失，所以在这个过程中信道究竟传输了多少用互信息描述：

注意互信息虽然很像自信息，但是它是一个描述信道用的量，它的最大值就是这个信道的信道容量，传输了多少，就等于发送的减去损失的，损失越少，信道容量越大，这很好理解。

对他进行展开也可以写成：

笔者认为这个形式很难直观理解，因为噪声不一定对传输造成影响，这里为什么要减去噪声熵呢，这很难直观感受。其实是噪声带来的变异增加了能携带的信息，原先只有01输入两种情况，到了接收端变成了0，0.25，0.5，1四种电平，我去，这都变成四进制传输了，这能携带的信息翻倍了呀，但这个是接收端，原先的信息有没有无损传过来都不知道呢，因此要减去噪声对于概率分布改变带来的信息，最好的情况就是减完和一样，对应的无损的情况。

这两个公式上者更容易直观理解，而下者将在计算信道容量的时候更为方便，原因就是变异概率我们好得到，并且它只与信道有关，这样想想就好理解多了，信道容量当然只和信道有关了。

相信肯定有小伙伴要问了和信源信道都有关系啊，怎么取极值呢，这就是信息论研究的编码问题，通过信源的概率分布，使得最大，此时就可以近似认为达到了这个信道的容量上限。所以在计算上限的时候，这个就是等概分布，的时候。

信道分类：

有噪无损
无噪有损
对称信道
准对称信道
一般信道

有噪无损

有噪无损就是上面一直说的，有噪声不一定有损失，例如信道矩阵：

这显然可以唯一译码确定信源发送的是什么，不管我收到了什么，我对于一点怀疑都没有，因此根据公式，信道容量就等于发多少我就传送多少，因此信源等概时达到信道容量。

无噪有损

对应的无噪有损的信道矩阵为：

信源的发送符号不会有变异的情况，只会和某一个字符一一对应，但是因为重复，接收方会对产生怀疑，到底发的是哪个，不确定。用互信息两个公式中的第一个公式去计算的话，就需要对两项都求最大，这是一个很麻烦的事情，但是用第二个公式就很方便，因为没有噪声熵，信道容量就是的最大值，此时调整信源的分布，使接收端等概，达到信道容量。