源编码定理
离散无记忆源产生的代码必须被有效地表示，这是通信中的一个重要问题。为了实现这一点，需要有代码字来表示这些源代码。
例如，在电报中，我们使用摩尔斯电码，其中的字母用标记和空格表示。如果考虑最常用的字母 E，则用 "。" 表示，而很少使用的字母 Q 则用 "--.-"
表示让我们看一下框图。
其中 Sk 是离散无记忆源的输出，bk 是源编码器的输出，用 0 和 1 表示。
编码序列使得接收器可以方便地对其进行解码。
假设源有一个包含 k 个不同符号的字母表，并且第 k 个符号 Sk 出现的概率为 Pk，其中 k = 0, 1…k-1。
让长度为 lk 的编码器分配给符号 Sk 的二进制码字，以位为单位。
因此，我们将源编码器的平均码字长度 L 定义为
$$\overline{L} = \displaystyle\sum\limits_{k=0}^{k-1} p_kl_k$$
L 表示每个源符号的平均位数
如果 $L_{min} = \: \overline{L}$ 的最小 \: 可能 \: 值 \:
那么 编码效率 可以定义为
$$\eta = \frac{L{min}}{\overline{L}}$$
当 $\overline{L}\geq L_{min}$ 时，我们将得到 $\eta \leq 1$
但是，当 $\eta = 1$ 时，源编码器被认为是有效的
为此，必须确定 $L_{min}$ 的值。
让我们参考定义，"给定一个离散无记忆熵源 $H(\delta)$，平均码字长度 任何源编码的 L 都有界于 $\overline{L} \geq H(\delta)$。"
用更简单的话来说，代码字（例如：单词 QUEUE 的摩尔斯电码为 -.- ..- . ..- . ）始终大于或等于源代码（示例中为 QUEUE）。这意味着，代码字中的符号大于或等于源代码中的字母。
因此，当 $L_{min} = H(\delta)$ 时，源编码器在熵 $H(\delta)$ 方面的效率可以写成
$$\eta = \frac{H(\delta)}{\overline{L}}$$
该源编码定理称为无噪声编码定理，因为它建立了无错误编码。它也被称为香农第一定理。
