第3章信道及其容量.ppt

《第3章信道及其容量.ppt》由会员分享，可在线阅读，更多相关《第3章信道及其容量.ppt（94页珍藏版）》请在优知文库上搜索。

1、第三章第三章 信道及其容量信道及其容量u 信道的任务是以信号方式传输信息和存储信息。信道的任务是以信号方式传输信息和存储信息。u 研究信道中能够传送或存储的最大信息量，即信道容量。研究信道中能够传送或存储的最大信息量，即信道容量。本章内容：本章内容：信道的分类及离散信道的数学模型信道的分类及离散信道的数学模型平均互信息及其性质平均互信息及其性质信道容量的概念及几种典型信道的信道容量计算信道容量的概念及几种典型信道的信道容量计算信源与信道的匹配信源与信道的匹配信道编码定理信道编码定理3.1 信道的数学模型和分类信道的数学模型和分类 等效信道 干扰源 物理信道 解调器 编码器 译码器 信宿 信源

2、调制器 实际信道 编码信道 图3.1.1 通信系统的一般模型3.1 信道的数学模型和分类信道的数学模型和分类 一、信道的分类一、信道的分类 根据载荷消息的媒体不同根据载荷消息的媒体不同根据信息传输的方式根据信息传输的方式根据信息传输的方式分类中根据信息传输的方式分类中 根据信道的用户多少：根据信道的用户多少：两端两端(单用户单用户)信道信道 多端多端(多用户多用户)信道信道根据信道输入端和输出端的关联：根据信道输入端和输出端的关联：无反馈信道无反馈信道 反馈信道反馈信道根据信道的参数与时间的关系：根据信道的参数与时间的关系：固定参数信道固定参数信道 时变参数信道时变参数信道 根据输入和输出信号

3、的特点：根据输入和输出信号的特点：离散信道离散信道 连续信道连续信道 半离散或半连续信道半离散或半连续信道 波形信道波形信道二、离散信道的数学模型二、离散信道的数学模型条件概率条件概率 p(y/x)描述了输入信号和输出信号之间统计描述了输入信号和输出信号之间统计依赖关系。依赖关系。它反映了它反映了信道的统计特性信道的统计特性。iip(y/x)=1p(y/x)例如例如ariiap11)(sjjbp11)(sjijabp11)|(aa 根据信道的根据信道的统计特性即条件概率统计特性即条件概率 p(p(y/x)的不同，离散的不同，离散信道又可分成三种情况：信道又可分成三种情况：无干扰信道无干扰信道

4、有干扰无记忆信道有干扰无记忆信道 有干扰有记忆信道有干扰有记忆信道 (1)无干扰无干扰(噪声噪声)信道信道 信道中没有随机性的干扰或者干扰很小，输出信号信道中没有随机性的干扰或者干扰很小，输出信号y与输入信号与输入信号 x 之间有确定的、一之间有确定的、一 一对应的关系。即：一对应的关系。即：y f(x)1()(|)0()yf xp y xyf x(2)有干扰无记忆信道有干扰无记忆信道 信道输入和输出之间的条件概率是一般的概率分布。信道输入和输出之间的条件概率是一般的概率分布。如果任一时刻输出符号只统计依赖于对应时刻的输入符号，如果任一时刻输出符号只统计依赖于对应时刻的输入符号，则这种信道称为

5、无记忆信道。则这种信道称为无记忆信道。12121(|)(.|.)(|)NNNiiip y xp y yyx xxp yx (3)有干扰有干扰(噪声噪声)有记忆信道有记忆信道 实际信道往往是既有干扰实际信道往往是既有干扰(噪声噪声)又有记忆的这种类又有记忆的这种类型。型。例如在数字信道中，由于信道滤波使频率特性不理例如在数字信道中，由于信道滤波使频率特性不理想时造成了码字之间的干扰。想时造成了码字之间的干扰。在这一类信道中某一瞬间的输出符号在这一类信道中某一瞬间的输出符号不但与对应时不但与对应时刻的输入符号有关，而且还与此前其他时刻信道的输入刻的输入符号有关，而且还与此前其他时刻信道的输入符号及

6、输出符号有关，符号及输出符号有关，这样的信道称为有记忆信道。这样的信道称为有记忆信道。处理有记忆有干扰信道的两种方法：处理有记忆有干扰信道的两种方法：（1）最直观的方法是把记忆较强的）最直观的方法是把记忆较强的N个符号当作一个个符号当作一个N维矢维矢量，而把各矢量之间认为是无记忆的，这样就量，而把各矢量之间认为是无记忆的，这样就转化成无记忆转化成无记忆信道信道的问题。当然，这样处理会引入误差：的问题。当然，这样处理会引入误差：N，误差，误差。（2）另一种处理方法是）另一种处理方法是把把 p(y/x)看成马尔可夫链看成马尔可夫链的形式，的形式，这是有限记忆信道的问题。这是有限记忆信道的问题。此时

7、，信道的统计特性可用在已知时刻的输入符号和前此时，信道的统计特性可用在已知时刻的输入符号和前时刻信道所处的时刻信道所处的状态状态的条件下，信道的输出符号和所处的的条件下，信道的输出符号和所处的状状态态的联合条件概率来描述，即用的联合条件概率来描述，即用 p(ynSn/xnSn-1)来描述。来描述。三、单符号离散信道三、单符号离散信道单符号离散信道：单符号离散信道：输入符号为输入符号为X，取值于，取值于a1,a2,ar。输出符号为输出符号为Y，取值于，取值于b1,b2,bs。条件概率：条件概率：p(y/x)p(y=bj/x=ai)p(bj/ai)这一组条件概率称为这一组条件概率称为信道的传递概率

8、信道的传递概率或或转移概率转移概率，可以利用条件概率来可以利用条件概率来描述干扰对信道影响描述干扰对信道影响的大小。的大小。用传递概率用传递概率 p(bj/ai)来描述干扰影响的大小来描述干扰影响的大小 一般一般简单的单符号离散信道简单的单符号离散信道可以用可以用X,p(y/x),Y 三三者加以描述。者加以描述。其数学模型可以用概率空间其数学模型可以用概率空间X,p(y/x),Y描述。描述。当然，也可用下图来描述：当然，也可用下图来描述：a1 b1 a2 b2 X .Y.ar bsp(bj/ai)一般离散单符号信道的传递概率可用矩阵形式表示，即一般离散单符号信道的传递概率可用矩阵形式表示，即

9、sjijijpp110 矩阵矩阵P完全描述了信道的特性，可用它作为离散单符号完全描述了信道的特性，可用它作为离散单符号信道的另一种数学模型信道的另一种数学模型的形式。的形式。P中有些是信道干扰引起的错误概率，有些是信道正确中有些是信道干扰引起的错误概率，有些是信道正确传输的概率，所以该矩阵又称为传输的概率，所以该矩阵又称为信道矩阵信道矩阵（转移矩阵）（转移矩阵）。rsrrsspppppppppP.:.212222111211 b1 b2 bsa1 p(b1|a1)p(b2|a1)p(bs|a1)a2 p(b1|a2)p(b2|a2)p(bs|a2).ar p(b1|ar)p(b2|ar)p(b

10、s|ar)在这里直观表示在这里直观表示矩阵矩阵P P中每行之和应中每行之和应等于等于“l l”a例例1 二元对称信道，二元对称信道，BSC，Binary Symmetrical Channel解：解：此时，此时，X:0,1;Y:0,1;r=s=2，a1=b1=0；a2=b2=1。传递概率传递概率:11221221(|)(0|0)1(|)(1|1)1(|)(0|1)(|)(1|0)p b apppp bapppp b appp bapp p是单个符号是单个符号传输发生错误传输发生错误的概率，表示信道输入符号的概率，表示信道输入符号“0”而接收到的符号为而接收到的符号为“1”，或信道输入符号为，或

11、信道输入符号为“1”而接收到的而接收到的符号为符号为“0”的概率的概率。的概率的概率。（1-p）表示是）表示是无错误传输无错误传输的概率。的概率。转移矩阵转移矩阵:-1 pppp1 0 1011p a1=0 0=b11p a2=1 1=b2pp输出输出输入输入符号符号“2”表示接收到了表示接收到了“0”、“1”以外的特殊符以外的特殊符号号这种信道实际是存在的这种信道实际是存在的。qqpp1001 0 2 101p0 01p1 1q1q2例例2二元删除信道。二元删除信道。BEC，Binary Eliminated Channel解：解：X:0,1 Y:0,1,2此时，此时，r 2，s 3，传递矩

12、阵为：传递矩阵为：设有一个信道，其输入为正、负方波信号，那么，信道输设有一个信道，其输入为正、负方波信号，那么，信道输出送入译码器的将是受干扰后的方波信号出送入译码器的将是受干扰后的方波信号R(t)，如图，如图(b)。qqpp1001 0 2 101 如果信道干扰不是很严重的话，则如果信道干扰不是很严重的话，则“10”和和“01”的可的可能性比能性比“02”和和“12”的可能性小得多，所以假设：的可能性小得多，所以假设：p(y=1/x=0)p(y=0/x=1)0是合理的。是合理的。l 一般单符号离散信道的一些概率关系一般单符号离散信道的一些概率关系 设信道的输入概率空间为：设信道的输入概率空间

13、为：1()10()1riiip ap a123123.()()().()()rraaaaXp ap ap ap ap x 信道输出信道输出Y的符号集为的符号集为B=b1,b2,bs。给定信道矩阵为：给定信道矩阵为：rsrrsspppppppppP.:.212222111211(,)()()(/)()(/)ijijijijijp xa ybp abp a p bap bp abaaaaa1()()(/)(1,.,)rjijiip bp a p bajs对都成立1122()()()()():()()Tsrp bp ap bp arsp bp aP()(/)()0()ijijjjp abp abp

14、bp b1()(/)(1,2,.,1,2,.,)()(/)ijirijiip a p bair jsp a p ba;1(/)1(1,2,.,)rijip abjsaaa3.2 信道疑义度与平均互信息信道疑义度与平均互信息 本节进一步研究离散单符号信道的数学模型本节进一步研究离散单符号信道的数学模型下的信息传输问题。下的信息传输问题。一、信道疑义度一、信道疑义度信道输入信源信道输入信源X的熵的熵 H(X)是在接收到输出是在接收到输出Y以前，关于输入变量以前，关于输入变量X的先验不的先验不确定性，称为确定性，称为先验熵先验熵。如果信道中无干扰如果信道中无干扰(噪声噪声)，则信道的输出符号与输入符

15、，则信道的输出符号与输入符号一一对应，那么，接收到传送过来的符号后就消除了对发号一一对应，那么，接收到传送过来的符号后就消除了对发送符号的先验不确定性。送符号的先验不确定性。但如果信道中有干扰但如果信道中有干扰(噪声噪声)存在，接收到符号存在，接收到符号Y后对发送后对发送的是什么符号仍存在有不确定性。的是什么符号仍存在有不确定性。11()()log()log()()riiXiH Xp ap xp xp a 接受到接受到bj后，关于后，关于X的不确定性为的不确定性为 后验熵在输出符号集后验熵在输出符号集Y范围内是个随机量，对后验熵在符范围内是个随机量，对后验熵在符号集号集Y中中求数学期望求数学期

16、望，得条件熵，得条件熵-信道疑义度信道疑义度：这是接收到输出符号这是接收到输出符号bj后关于后关于X的的后验熵后验熵。后验熵是当信道接收端接收到输出符号后验熵是当信道接收端接收到输出符号bj后，关于输入后，关于输入符号的信息测度。符号的信息测度。1(|)(|)log(|)jjXjHXbp x bp x b1(|)(/)()(/)sjjjjH XYE H Xbp bH Xb111()(|)log(|)srjijjiijp bp abp ab,1()log(|)X Yp xyp xy 信道疑义度（含糊度）信道疑义度（含糊度）：它表示在输出端收到全部输出：它表示在输出端收到全部输出符号符号Y集后，对于输入端的信号集集后，对于输入端的信号集X尚存在尚存在的不确定性的不确定性(存在疑存在疑义义)。这个不确定性是由于干扰这个不确定性是由于干扰(噪声噪声)引起的。引起的。如果是一一对应信道，那么接收到符号如果是一一对应信道，那么接收到符号Y后，对后，对X的不确的不确性完全消除，则信道疑义度性完全消除，则信道疑义度H(X/Y)0。条件熵小于无条件熵，即条件熵小于无条件熵，即H(X/Y)H(X)。这说明