多元线性回归与多项式回归.docx

第九章多元线性回归与多项式回归直线ISI归研究的是一个依变量与一个自变量之间的Pl归问题，但是，在畜禽、水产科学领域的许多实际问题中，影响依变量的自变量往往不止一个，而是多个，比方绵羊的产毛量这一变量同时受到绵羊体重、胸围、体长等多个变量的MJ响，因此需要进行一个依变量与多个自变量间的回归分析，即多元回归分析(multipleregressionanalysis),而其中最为简单、常用并且具有根底性质的是多元线性回归分析(multiplelinearregressionanalysis).许多非线性回归(non-linearregression)和多项式回归(polynomialregression)都可以化为多元线性回归来解决，因而多元线性回归分析有着广泛的应用。研究多元线性l三l归分析的思想、方法和原理与直线三l归分析根本相同，但是其中要涉及到一些新的概念以及进行更细致的分析，特别是在计算上要比直线回归分析复杂得多，当自变量较多时，需要应用电子计算机进行计算。aaa第一节多元线性回归分析多元线性回归分析的根本任务包括：根据依变量与多个自变量的实际观测值建立依变量对多个白变量的多元线性回归方程：检验、分析各个自变量对依自变量的综合线性影响的显著性：检验、分析各个自变量对依变量的单纯线性影响的显著性，选择仅对依变量有显著线性影响的自变量，建立最优多元线性l三l归方程；评定各个自变量对依变量影响的相对重要性以及测定最优多元线性l三l归方程的偏离度等。一、多元线性回归方程的建立一)多元线性回归的数学模型设依变量y与自变量占、心、心共有"组实际观测数据：序另y修X2/e1>"1.x2%2JzIIx12Ix221I%2IIN4x2n假定依变量y与自变量制、X2、Xm间存在线性关系，其数学模型为：力=A)+4Xlj+。2了2J+BmXmj+£j(%1)尸12"式中，XI、X2可以观测的一般变量(或为可以观测的随机变量)；y为可以观测的随机变量，随片、X2Xm而变，受试验误差影响；勺为相互独立且都服从N(0"2)的随机变量。我们可以根据实际观测值对为、四、伤、",以及方差b2作出估计。二)建立线性回归方程设y对占、x2、XDI的m元线性回归方程为：其中的比、仇、仇、bnt为00、尸I、昆、户,"的最小二乘估计值。即无、4、无、儿,应使实际观测值y与回归估计值，的偏差平方和最小。令0=£(力一分产Q为关于、仇、b2、，,的m+1元函数。根据微分学中多元函数求极值的方法，假设使Q到达最小，那么应有：i=1、2.、")经整理得:汕o+1)l+%)%+()-y(X)%+(lx；)l+(LrlX2)b2+(x1xm)hm=xly(9-2)«(£占)b0+(匕2rl)+(力；)*2+'+(jX",N=2yJ%+(Jj)l+(xx2)%+()仇"=K,y由方程组(9-2)中的第一个方程可得%=手一仇g-%务-抉3)即勾=AEdz假设记(/此=1、2、，、血；FH盍by-b-b1x2心心分别代入方程组(9.2)中的后初个方程，经整理可得到关于偏回归系数4、力2、，的正规方程组(normalequations)为：SS向+5色力2+5Rm=5%ISg向+SS2b2+"+SEtnbM=S鸟。(4)SPir高+5&也+SSmbn=SPin0解正规方程组(9-4)即可得偏回归系数%、%、，,的解，而于是得到，"元线性l三l归方程，"元线性回归方程的图形为,"+1维空间的一个平面，称为回归平面；%称为回归常数项，当x=x2=x,"=0时，S=O,在面有实际意义时，%表示y的起始值；(z=K2、W)称为依变量y对自变量Xi的偏I5I归系数(Partialregressioncoefficient),表示除自变量Xi以外的其余，M-I个自变量都固定不变时，自变量占每变化-个单位，依变量y平均变化的单位数值，确切地说，当也0时，自变最n每增加一个单位，依变量)，平均增加4个单位；当4<0时，自变量Xi每增加一个单位，依变量y平均减少许个单位。假设将坛=了-AM-%了2勾心代入上式，那么得$=予+仇(Xl-x)+2(x2-x2)+-+,F(xrtl观)9-5)(9-5)式也为y对X|、x2、Xnt的，"元线性回归方程。对于正规方程组9-4),记SSls&S%SS2ri.S6巾SP2m>»b=队一&8=SP20SPfnlSPf2ssm_5吃0A=那么正规方程组(9-4)可用矩阵形式表示为9-6)即Ab=B其中A为正规方程组的系数矩阵、b为偏回归系数矩阵(列向最)、8为常数项矩阵(列向吊：)。设系数矩阵A的逆矩阵为C矩阵，即AT=C,那么其中：C矩阵的元素（i,J=l、2、，"）称为高斯乘数，是多元线性l三l归分析中显著性检验所需要的。关于求系数矩阵4的逆矩阵A"的方法有多种，如行（或列）的初等变换法等，请参阅线性代数教材，这里就不再赘述。时于矩阵方程9:）求解，有：即：4 %(9-8)关于偏回归系数力、坛、勾的解可表示为：也=CUS片U+c5%llcSPtM9-9）（i=l,2、，m）或者"=Zqm用而b0=y-blxi-b2x2bmxm【例9.1】猪的瘦肉量是肉用型猪育种中的重要指标，而影响猪瘦肉量的有猪的眼肌面积、胴体长、膘厚等性状。设依变量y为瘦肉量（口），自变量,为眼肌面积（Cm2）,自变量心为胴体长（tm）,自变量与为膘厚（三）,根据三江猪育种组的54头杂种猪的实测数据资料，经过整理计算，得到如下数据：试建立y对X|、*2、*3的三元线性回归方程9=%+4内+打2+力3x3-将上述有关数据代入（9-53式，得到关于偏5归系数4、多、&的正规方程组：用线性代数有关方法求得系数矩阵的逆矩阵如下：0.001187 -0.000040 0.000403-0.000040 0.001671 0.005410 =0.0004030.0()54100.089707C32CI3C23根据式（9-8）,关于仇、坛、名的解可表示为:即关于bl、b2,b3的解为：而=y-frx1-b2x2-3¾于是得到关于瘦肉量y与眼肌面积占、胴体长小、膘厚X3的三元线性回归方程为：三）多元线性回归方程的偏离度以上根据最小二乘法，即使偏差平方和±（y-f）2最小建立了多元线性回归方程。偏差平方和±（y-9）2的大小表示了实测点与回归平面的偏离程度，因而偏差平方和又称为离回归平方和。统计学已证明，在m元线性回归分析中，离回归平方和的自由度为（"-昨1）。于是可求得离f三l归均方为e（y-5）2/（n-m-）o离回归均方是模型（9-1）中。2的估计值。离回归均方的平方根叫离回归标准误，记为S*Em（或简记为SJ,即Sy.a.M=S=qZly-旷/（Hi-I）9-10离回归标准误S,.2m的大小表示了回归平面与实测点的偏离程度，即回归估计值方与实测值y偏离的程度，于是我们把离回归标准误S"2m用来表示回归方程的偏离度。离I可归标准误5，.2大，表示回归方程偏离度大，离回归标准误Sy'."小，表示回归方程偏离度小。利用公式Z(y-»)2计算离回归平方和，因为先须计算出各个回归预测值9，计算量大，下面我们将介绍计算离l三l归平方和的简便公式。二、多元线性回归的显著性检验一)多元线性回归关系的显著性检验在畜禽、水产科学的许多实际问题中，我们事先并不能断定依变量y与自变量与、4、4之间是否确有线性关系，在根据依变量与多个自变量的实际观测数据建立多元线性回归方程之前，依变量与多个自变量间的线性关系只是一种假设，尽管这种假设常常不是没有根据的，但是在建立了多元线性l三l归方程之后，还必须对依变量与多个自变量间的线性关系的假设进行显著性检验，也就是进行多元线性回归关系的显著性检验，或者说对多元线性回归方程进行显著性检验。这里应用F检验方法。与直线回归分析即一元线性回归分析一样，在多元线性回归分析中，依变量y的总平方和SS，可以剖分为回归平方和SSR与离回归平方和SSr两局部，即：SSy=SSR+SSr(9-11)依变量y的总自由度#;也可以剖分为ISI归自由度必与离l三l归自由度"两局部，即：dfy=dfR+dfr(9-(9-11)与(9-12)两式称为多元线性回归的平方和与自由度的划分式或剖分式。在(9-11)式中，SsV=E(y-反)2反映了依变量y的总变异：SSR=E(，-反)2反映了依变量与多个自变量间存在线性关系所引起的变异，或者反映了多个自变量对依变量的综合线性影响所引起的变异：5S,=e()，-四2反映了除依变量与多个自变量间存在线性关系以外的其他因素包括试验误差所引起的变异(9-11)式中各项平方和的计算方法如下：SS,=y2-(y)2nS兄=blSPl0+35o+-+bSPik0=2尸此19-12)S=IS5=SSy-SSR(9-12)式中各项自由度的计算方法如下：在上述计算方法中，m为自变量的个数，"为实际观测数据的组数。在计算出S%、dfR与SSr、，仇之后，我们可以方便地算出回归均方MSR与离回归均方MS,:检验多元线性问归关系是否显著或者多元线性l三l归方程是否显著，就是检验各自变量的总体偏同归系数自(?=1、2、m)是否同时为零，显著性检验的无效假设与备择假设为：在从成立条件下，有f=(dfl=df,df2=dfr)(9-14由上述F统计量进行F检验即可推断多元线性回归关系的显著性。这里特别要说明的是，上述显著性检验实质上是测定各自变量对依变量的综合线性影响的显著性，或者测定依变量与各自变量的综合线性关系的显著性如果经过F检验，多元线性回归关系或者多元线性Pl归方程是显著的，那么不一定每一个自变量与依变量的线性关系都是显著的，或者说每一个偏问归系数不一定都是显著的，这并不排斥其中存在着与依变量无线性关系的自变量的可能性。在上述多元线性Pl归关系显著性检验中，无法区别全部自变量中，哪些是对依变量的线性影响是显著的，哪些是不显著的。因此，当多元线性回归关系经显著检验为显著时，还必须逐一对各偏回归系数进行显著性检验，发现和剔除不显著的偏回归关系对应的自变最。另外，多元线性回归关系显著并不排斥有更合理的多元非线性回归方程的存在，这正如直线回归显著并不排斥有更合理的曲线回归方程存在一样。对于【】，建立的三元线性回归方程为：现在对三元线性回归关系进行显著性检验。已计算得：并且="-1=54-1=53df产m=3斯=-，-1=54-3-1=50列出方差分析表，进行6检验：表97三元线性回归关系方差分析表变异来源SSMS尸回归39493*米离l三l归50总变异53由方=3、好2=50查F值表得f*.50网.20,因为Q%5）,P<OOl。说明，猪瘦肉量y与眼肌面积x、胴体长x2、膘厚心