信道编码定理
信道中存在的噪声会在数字通信系统的输入和输出序列之间产生不必要的错误。为了实现可靠的通信，错误概率应该非常低，接近 ≤ 10-6。
通信系统中的信道编码引入了冗余和控制，从而提高了系统的可靠性。源编码减少了冗余度，从而提高了系统的效率。
信道编码由两部分操作组成。
将输入数据序列映射为信道输入序列。
将信道输出序列逆映射为输出数据序列。
最终目标是尽量减少信道噪声的整体影响。
映射由发送器在编码器的帮助下完成，而逆映射由接收器中的解码器完成。
信道编码
让我们考虑一个离散无记忆信道(δ)，其熵为H (δ)
Ts表示δ每秒提供
信道容量用C
表示信道每Tc秒可使用
因此，信道的最大容量为C/Tc
发送的数据 = $\frac{H(\delta)}{T_s}$
如果 $\frac{H(\delta)}{T_s} \leq \frac{C}{T_c}$，则表示传输良好，并且可以以较小的错误概率进行重现。
其中，$\frac{C}{T_c}$ 是信道容量的临界速率。
如果 $\frac{H(\delta)}{T_s} = \frac{C}{T_c}$，则系统被认为以临界速率发送信号速率。
相反，如果 $\frac{H(\delta)}{T_s} > \frac{C}{T_c}$，则传输是不可能的。
因此，传输的最大速率等于信道容量的临界速率，对于可靠的无差错消息，可以在离散无记忆信道上进行。这称为信道编码定理。
