第二章-贝叶斯决策理论.docx

《第二章-贝叶斯决策理论.docx》由会员分享，可在线阅读，更多相关《第二章-贝叶斯决策理论.docx（37页珍藏版）》请在优知文库上搜索。

1、,(1)-NJN.PWNzfN)假设(类)条件概率密度函数P(X1.3i),j=1.,2,用来描述每一类中特征向展的分布情况.如果类条件概率密度函数未知,凰么可以从可用的训练数据中估计出来.贝叶斯判别方法贝叶斯分类猊那么描述为：如果P(P(ftX),那么XG1.如果&助|工)。2|回.那么丫%(211)贝叶斯分类规那么就是看XG四的可能性大，还是XGg的可能性大。P(iIX),/=1,2解件为当样本X出现时，石蛉微率/(他IX)和P(A1.X)的大小从而判别为属于勺或属于2类。三种概率的关系贝叶斯公式：Pgg=03D(2-1-3)P(X)其中.P(X)是X的概率.澎度函数(全概率密度：.它等于

2、所有可能的类概率.密度函数乘以相应的先验概率之和.P（X）=P（XI助）夕他）因为P(X)对于所存的类都是样的，可视为常数因子,它并不影响结果,不考虑“故可栗川下面的写法比拟后脸IK率的大小：p(x)P(P(X1.Q)P(h)那么有XGJ(2-1-4)(I)2二多类的情况 32,”表示样本X所属的个类别. 先龄概率P(姐)，=1.2,m假设类条件概率密度函数P(X1.助),1=1,2,小,计算后验概率后，假设：P,IX)P(,IX)vji那么XG3i类.这样的决策可使分类错误率最小.因此叫做拈于最小错误率的贝叶斯决策.R1.和S3的分界点是p(x!)!)=p(x/i)P(i)的交点.R2和R3

3、的分界点是p(x!(2)P)三p(x(w)P(如)的交点.1R*Rif&决策域、决策面，决策面方程和判决函数和分类器决策域、决策面、决策面方程时于物类的分类任芬.按照决策规那么可以把多维特征空间划分成m个决策区域凡叫决策城.两个区域用，R.的边界叫决策面,X是一维时,淡策面是一个点：二维时,决策面是一条曲（三）线;三维时，决策面是一曲(平)面：雉时，决策面是一个切曲(平)面。在数学上用解析形式可以表示为用决黄血方置描述.可符决策面存作有正负的界面,对于任一样本X,代入决策面方程左边的多项式,段设是正的说明xe”,：假设为负说明x幼.判别函数4(x)把描述决策规那么的某种函数叫我别应改d,(x)

4、,例如4(x)=(P(SIX),其中/()是一个单调上升函数。对于最小错误率的情况，可描述为P(1.Ix)-P(WjIx)-O,用判决函数描述决策面方程更方便.分类号分类器可以看成是由软件或硬件组成的一个“分类的机器”，它的功能是先计算出m个判别函数再从中选出判别函数的大位的类作为决策结果.基于量小错误率的判决规那么的其他形式由P(XIe,)P(e)p(XIm)P(公)，那么XG1.但这种月决规班么，可写成2,那么有XeHp(x2)J1(x),ji时，xyr;或当Jz(x)=11axP(y,IX)时，xP(ftx),那么有xwi.图2-1-1P(G=P(2x)p(x)dx+PIX)P(XwX=

5、,p(X16)P(y,)1.x+jp(x)P(*：A(*)(1.w2)A(af.cva):：(a4w)(.2)A(4.r,)a(4)这里，“可以等于或大于，大于”，包含了拒绝判决的情况.般，正确的判断要比错误判断的投失小，即以氏,叼)以见,利)，亦即44,。条件期望损失RSJx)一(又叫条件风险)对于给定的X的测试(ft.如果采取决第4,4可以在相应行的，个N,.ej当中任取个.这里/=1,2,1.m,相应概率为P(勺).因此在采取决策,情况下的条件期望损失昭,IX)为：mR(a,1.X)=E(a1.,M)=(a1.coj)P(|x),i=1.2.a(2-2-3)?=1 此式是考虑到了某一行中

6、各种请况下的损失的一种加权平均效果即判断XM于？类时相应于决策,的损失函数以各类后验概率为权王的加权和。式中将Jr来自任何一类的情况都考虑到了，同于某一类的可能性越大，P)越大，权由越大。 这里求期不值实际上是求%条件下相对求各类的平均风险。 根据上表,可以计算出。个条件风险R(x).Ria2x).,R(a1.x.期城风险RX是随机向量的测量的,用于X的不同观察值,采取决策a,时.其条件风险的大小是不同的.决策可以看成随机向量X的函数,记为(x),于是我们可以定义期望风险R为：=(r)x)Xx)tZr(2-2-4)式中.公是特征空间的体积元.积分在整个特征空间进行.期里风险R反映对整个特征度间

7、所仃X的取值都采取相应的袂般(x)所带来的平均风险；而条件风险MajX)只是反映了对某X的取值来取决策里所带来的风哙。实际上是对某模式X进行分类判别决策时，算出判断它属于各类的条件期里风险夫(jx),阳%x).，K(ux)之后，判决X周于条件风险的那一类.最小风险贝叶斯决策规那么在考虑描到带来的损失时.我们带望损失最小.如果在采取每一个决策都使其条件风险最小,那么对所有的X作出决策时,其期望风险也必然最小.这样的决策就是最小风险贝H斯决策.最小风险贝叶斯决策班那么为：如果R(aiIx)=nin&勾x),那么有=4(2-2-5).i*1.2w.即在。个条件风险中,选一个最小的，这就是基于最小风险

8、的贝页Wi决策.最小风险贝叶斯决策的步骤(1)在汽叼)，p(叼)，J=1,2,m,并给出待识别的X的情况下，根据贝叶斯公式可以计算出后验概率：.、P(X!叫)似叫).(xIX)=-1Z,)-1.,2,m(226)p(xIa,)t(a,)SI(2)利用计算出的后段概率及决策表,按式(22-3)计算出采取,.二1.2.”的条件风险R(ai/x).(3)对步MU2)中得刎的。个条件风险值R(x).i1,2.”.进行比拟.找出使条件风险最小的决策见,即R(x)=minR(a1.x).那么aj1.就是最小风险贝叶斯决策，说明应该指出的是，最小风险贝叶斯决策除了要有符合实际情况的先验概率P(1.)及类条件

9、概率密度/Xx.)=0i,j=1,2,m(2-2-7)1.)式中线定时于m类只有=析个决策，即不考虑“拒绝的情况：时于正确决策(即i=力，4(勾,叼)=0,就是没有损失：而对于任何错误决策，其损失均为1.这样定义的损失函数称为01损失函数，此时，条件风险为：EERtaiIX)=(a,.u.(e)+(2(e)-0)式中A是1.agrangc乘子,目的是求r的极小值。从式(21-12)可知：%(，)=IP(XIw)dx,j()=IpxIo2)dx(2210；JiJR1式中.周是类别回的区域：为是类别码的区域，而凡+&=&,人为整个特征空间，也就是说，决策作出之后.俗个特征空间分割成不相交的两个区域2和段.我设样本尸落入冬,就判定属广用类.反之那么随于g类.根据类条件概率密度的性质.仃：pixIco)dx=1-P(HI)dx(2-2-11)JR1.JR1.招式(2-2To)代入式(2-2-9),并顾及到式(2-27