第4章离散信道.ppt
《第4章离散信道.ppt》由会员分享,可在线阅读,更多相关《第4章离散信道.ppt(29页珍藏版)》请在优知文库上搜索。
1、信息论与编码理论第4章 离散信道4.1 离散信道的数学模型n由于干扰的存在,信道的输出Y与信道的输入X不完全相同,用条件概率p(y|x)描述。n而输入和输出又有各自的统计特性,分别用 和 表示。XPYP 4.2 信道的分类n根据输入输出事件的时间特性离散信道:GSM连续信道:有线电视、广播半连续信道n根据输入输出个数两端信道(单路信道):电话多元接入信道:信道的复用广播信道:广播n根据统计特性恒参信道:信道的统计特性不随时间发生变化。随参信道:信道的统计特性随时间发生变化。n根据记忆特性无记忆信道:信道的输出仅与当前的输入有关,与以前的输入无关。有记忆信道:信道的输出不仅与当前的输入有关,与以
2、前的输入也有关系。几种特殊信道n无噪无损信道:输入集和输出集之间存在一一对应的关系。n有噪无损信道:有噪无损信道的一个输入符号可能对应多个输入符号,而一个输出符号只对应一个输入符号。n无噪有损信道:无噪有损信道的一个输入符号只对应一个输入符号,而一个输出符号可能对应多个输入符号。n无用信道:输入与输出相互独立,没有任何关系。4.3 离散无记忆信道4.3.1 离散信道的数学模型n离散无记忆信道中,当前的输出yj仅与当前的输入xi有关,与过去的输入无关,即yj出现的概率仅与xi有关n信道转移矩阵或者信道矩阵1112121222|12ssY XrrrsppppppPppp例4-3n假设串口通信的误码
3、率为4%,即A发送“0”而B接收到“1”的概率是0.04,A发送“1”而B接收到“0”的概率也是0.04,可以得到该信道的信道转移矩阵|0.960.040.040.96Y XPn二进制对称信道n简称为BSC(Binary Symmetric Channel)二元:输入和输出符号集均为0,1对称:1变成0和0变成1的概率相等。np(0|0)=p(1|1)=1-p,p(0|1)=p(1|0)=pnBSC的信道矩阵:ppPpp4.3.2 信道疑义度和噪声熵n定义定义4-1 称输入空间称输入空间X对输出空间对输出空间Y的条件的条件熵熵 为为信道疑义度信道疑义度。n含义:收到全部输出符号含义:收到全部输
4、出符号Y以后,对输入符以后,对输入符号号X尚存在的平均不确定性。尚存在的平均不确定性。n这种不确定性是由信道干扰引起的。这种不确定性是由信道干扰引起的。n对无噪信道:对无噪信道:H(X|Y)=0。nH(X|Y)H(X):收到输出符号:收到输出符号Y以后,总能以后,总能消除一些对消除一些对X的不确定性,获得一些信息。的不确定性,获得一些信息。(|)()log(|)ijijijH X Yp abp ab n【定义4-1】称信道的输入空间X对输出空间Y的条件熵n为信道疑义度。n信道疑义度的含义是观察到信道的输出之后仍然保留的关于信道输入的平均不确定性。n这种对X尚存在的不确定性是由于传输过程中的信道
5、干扰引起的。(|)()log(|)ijijXYH X Yp x yp xy 4.3.3 平均互信息n定义定义4-3 原始信源熵与信道疑义度之差称为平均互信息平均互信息。I(X;Y)=H(X)-H(X|Y)n平均互信息具有非负性。n含义:接收到信道的输出符号集Y之后,平均每个符号获得的关于信道输入符号集X的信息量,即通过信道传送过去的信息量通过信道传送过去的信息量。(|)(|)(;)()log()log(;)()()XYXYp x yp y xI X Yp xyp xyI Y Xp xp y两个定理n定理4-1 对于固定的信道,平均互信息I(X;Y)是信源概率分布p(x)的上凸函数。固定信道:信
6、道传递概率p(y|x)不变n定理4-2 对于固定的信源分布,平均互信息I(X;Y)是信道传递概率p(y|x)的下凸函数。固定信源:信源概率分布p(x)不变(|)(|)(;)()log(|)()log()(|)()XYXYXp y xp y xI X Yp xyp y x p xp yp y x p x信源信源信道信道平均互信息的例子n例例4-6 信源:信道:n则互信息量:(0,0)(0)(0|0)(0,1)(0)(1|0)(1,0)(1)(0|1)(1,1)(1)(1|1)p xyp xp yxpp xyp xp yxpp xyp xp yxpp xyp xp yxp011XPppPpp(|)
7、(;)(;)()log()()()XYp y xI X YI Y Xp xyHppH pp y(0)(0,0)(1,0)(1)(1)(0,1)(1,1)(1)p Yppppppp Ypppppp固定信道固定信道p p固定固定 从从0 0到到1 1变化变化固定信源固定信源 固定固定p p从从0 0到到1 1变化变化4.4 信道的组合n组合方式 并行:积信道 串行:级联信道 例如:Internet 例如:GSMn重点介绍级联信道(串联信道)n假设串联的两个信道为信道假设串联的两个信道为信道I和信道和信道II,信道,信道I的传的传递概率为递概率为p(y|x),信道,信道II的传递概率为的传递概率为p
8、(z|xy)。n定理定理4-3 若随机变量若随机变量X,Y,Z构成一个马尔可夫链构成一个马尔可夫链(p(z|xy)=p(z|y)),则有),则有I(X;Z)I(X;Y)I(X;Z)I(Y;Z)n定理定理4-3叫做叫做数据处理定理数据处理定理,它的含义是通过串联,它的含义是通过串联信道的传输,只会丢失信息,不会增加信息,至信道的传输,只会丢失信息,不会增加信息,至多保持原来的消息量。这是信息不增性原理。多保持原来的消息量。这是信息不增性原理。信道Ip(y|x)信道IIp(z|xy)XYZ例4-7 两个二元对称信道串联n一个马尔可夫链,则串联信道总的信道矩阵为n则 I(X;Y)=1-H(p)I(X
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 离散 信道