信息理论

信息是通信系统的来源，无论是模拟的还是数字的。信息理论是一种研究信息编码以及信息量化、存储和通信的数学方法。

如果我们考虑一个事件，则有三种发生条件。

因此，这三个条件发生在不同的时间。这些条件的差异有助于我们了解事件发生的概率。

熵

当我们观察事件发生的可能性时，无论它有多么令人惊讶或不确定，都意味着我们正在尝试了解事件源信息的平均内容。

熵可以定义为每个源符号的平均信息内容的度量。"信息理论之父"克劳德·香农给出了一个公式

$$H = -\sum_{i} p_i\log_{b}p_i$$

其中 $p_i$ 是从给定的字符流中出现字符数 i 的概率，b 是所用算法的基础。因此，这也被称为香农熵。

在观察通道输出后，对通道输入剩余的不确定性量称为条件熵。它用 $H(x \arrowvert y)$ 表示

以连续间隔发射数据（与先前值无关）的源可称为离散无记忆源。

此源是离散的，因为它不是针对连续时间间隔，而是针对离散时间间隔。此源是无记忆的，因为它在每个时刻都是最新的，不考虑先前的值。

根据定义，"给定一个离散无记忆熵源 $H(\delta)$，任何源编码的平均码字长度 $\bar{L}$ 被界定为 $\bar{L}\geq H(\delta)$"。

用更简单的话来说，码字（例如：QUEUE 一词的摩尔斯电码为 -.- ..- . ..- . ）始终大于或等于源代码（示例中为 QUEUE）。这意味着，码字中的符号大于或等于源代码中的字母。

通信系统中的信道编码引入了冗余和控制，以提高系统的可靠性。源编码减少了冗余度，从而提高了系统的效率。

信道编码由两部分操作组成。

最终目标是将信道噪声的整体影响最小化。

映射由发送器在编码器的帮助下完成，而逆映射由接收器的解码器完成。