第4章多元回归分析.ppt

1第四章第四章 多元线性回归分析多元线性回归分析2多元线性回归模型多元线性回归模型 包含多个解释变量的线性回归模型包含多个解释变量的线性回归模型n一元线性回归模型能合理地描述实际经济情况吗？n现实经济情况往往体现：对一个经济变量的解释有多个因素，因此应该使用多个解释变量的多元回归分析。n如果一个模型确实存在多个解释变量，我们使用一元线性回归会产生设定偏误。34.1 多元线性回归模型的两个例子多元线性回归模型的两个例子 一、例题一、例题1：CD生产函数生产函数 n这是一个非线性函数，但取对数可以转变为一个这是一个非线性函数，但取对数可以转变为一个对参数线性的模型对参数线性的模型n注意：注意：“线性线性”的含义是指方程对参数而言是线的含义是指方程对参数而言是线性的性的 teLAKQttt21ttttLKQlnlnln210),0(2iidt4例题二：新凯恩斯混合例题二：新凯恩斯混合Phillips曲线曲线n根据经济学理论数理模型被表述为：n对应的计量经济学模型为：n计量模型有时来源于经济学理论，随机误差项包含一些次要的、没有出现在经济模型中的影响因素tmcttftbtmcE11ttmcttftbtmcE1105二、二、多元线性回归模型的一般形式多元线性回归模型的一般形式n一般形式可以表述为如下的形式：n均值方程n线性回归方程与均值方程的联系iKiKiiXXY110Ni,2,1KiKiKiiiXXXXYE1101),(iKiiiiXXYEY),(16问题本质：问题本质：这部分是解释变量无法解释的随机噪声。并且被分解的这两部分是正交的，即这两部分没有信息的重叠。多元线性回归方程将被解释变量分解成为两部分：这部分是可以由解释变量来解释。（2）（1）KikiKiiiXXXXYE1101),(),(1KiiiiiXXYEY7三、偏效应三、偏效应n解释变量的估计参数 表示 对被解释变量均值的偏效应。n表示其他被解释变量均保持不变时，变化一个单位，导致被解释变量均值变化 个单位。n为什么叫偏效应？这是因为它的含义恰好类似于高等数学中偏导数的含义。kkXkXkkKkXXXYE),(184.2 多元线性回归模型的多元线性回归模型的OLS估计估计n一、回归系数的估计一、回归系数的估计n1.回归系数的回归系数的OLS估计：一般形式估计：一般形式 iKiKiiXXY110其样本回归函数为：KiKiiXXY110K,10是OLS估计量 9问题本质问题本质nOLS的估计思想：（1）寻找参数估计量 ，使得样本回归函数与所有样本观测点的偏离最小，即残差平方和最小。K,10 为什么不选择离差之和最小化或者离差绝对为什么不选择离差之和最小化或者离差绝对值之和最小化呢？值之和最小化呢？因为离差之和会使正负误差抵消，而离差绝对值不便于数学上做优化处理，所以选择了离差平方和最小化作为优化目标，这也就是为什么这种估计方法被称为最小二乘法的原因。10n（2）优化目标）优化目标iKiKiiNiNiNiiiiiXXYYY)(min)(minmin1101112根据其一阶优化条件：012kNiiKk,1,011得到计算回归系数估计量的正规方程组：Nii10NiiiX110 NiiKiX10注意注意：只有回归方程中包含常数项，由OLS估计所得残差总和才一定为0。含义含义：OLS估计所的残差与解释变量不相关。即残差中不存在任何可解释的成份。12假定假定7：回归模型的解释变量之间不能存：回归模型的解释变量之间不能存在完全的多重共线性。在完全的多重共线性。n“完全的多重共线性”：是指一个解释变量是其他解释变量的线性组合。说明该解释变量所说明该解释变量所提供的信息与其他解释变量是完全重复的。提供的信息与其他解释变量是完全重复的。n当存在完全共线性时，模型的参数不可识别。即任何方法都无法得到参数估计值，包括OLS。n存在不完全共线性时，可以得到参数估计值。OLS估计量是BLUE。但与没有多重共线性时相比，估计量的方差较大，估计精度下降。13高斯高斯马尔可夫定理马尔可夫定理 如果多元线性回归方程满足经典假定条件如果多元线性回归方程满足经典假定条件17，则回归系数的则回归系数的OLS估计量是线性的、无偏的，最估计量是线性的、无偏的，最优的（在所有无偏估计量中具有最小方差）估计优的（在所有无偏估计量中具有最小方差）估计量，即量，即BLUE。最关键的假定最关键的假定：解释变量是外生变量，它保证：解释变量是外生变量，它保证了了OLS估计量的无偏性。估计量的无偏性。讨论讨论：如果解释变量不满足外生性假定，例如，解释变量与误差项相关，那么误差项对被解释变量的影响由谁反映？142.回归系数的回归系数的OLS估计：以二元回归模型为例估计：以二元回归模型为例 iiiiXXY22110基于残差平方和的最小化，得到正规方程组：Nii10NiiiX110NiiiX12015由正规方程组求解，得到回归系数的估计量：由正规方程组求解，得到回归系数的估计量：22122212122211)()()()(iiiiiiiiiiixxxxxxxyxxy22122212112122)()()()(iiiiiiiiiiixxxxxxxyxxy22110XXY16n基于方差公式得到各回归系数估计量的方差：基于方差公式得到各回归系数估计量的方差：21212222212221221)1()()()var(iiiiiixrxxxxx22212222212221212)1()()()var(iiiiiixrxxxxx222121221221)1(),cov(xxrr17例子：基于表例子：基于表4.1.1的数据估计中国宏观生产函数的数据估计中国宏观生产函数ttttLKQln6635.0ln7512.09156.8lnSe：0.7880 0.0902 0.0220t值：-11.31367 7.3534 34.1171p值：0.0000 0.0000 0.0000 P值非常小，这表明各个解释变量对被解释变量有显著的解释作用。回忆回忆：P值是检验结论犯第一类“弃真”错误的概率。P值非常小的含义是什么呢？18二、随机误差项方差的估计二、随机误差项方差的估计21),var(KiiiXX的无偏估计量可以表述为：)1(122KNNii自由度为什么是自由度为什么是N-(K+1)？多元回归模型的OLS估计中，我们基于正规方程组中的K+1个约束估计了K+1个回归系数，所以损失了K+1个自由度，独立的观测信息只剩下N-(K+1)个。19三、判定系数的调整三、判定系数的调整2R总平方和等于解释平方和加上残差平方和 TSSESS+RSS 判定系数 TSSRSSTSSESSR12 后果后果：在回归模型中增加新的解释变量时，只可能增加，而决不会下降。缺陷缺陷：只反映拟合效果，不反映自由度损失。2R20调整后的调整后的2R)1/()1/(12NTSSKNRSSR 调整思想调整思想：对 进行自由度调整。2R21基本统计量基本统计量TSS、RSS、ESS的自由度：的自由度：NiiYYTSS12)(NiiYNY111.TSS的自由度为N-1。基于样本容量N，因为线性约束而损失一个自由度。2.RSS的自由度为N-(K+1)。基于样本容量N，统计量NiRSS12因为正规方程组的K+1个线性约束而损失了K+1个自由度。NiKiiKNiiixyxy1111)()(Nikiikxy1)(3.ESS的自由度为K。是K个统计量的加总，统计量的自由度为1。ESS224.3 多元线性回归模型的假设检验多元线性回归模型的假设检验一、参数假设检验的基本思想一、参数假设检验的基本思想n基于对误差项分布的假定，得到参数估计量的分布；基于对误差项分布的假定，得到参数估计量的分布；n对参数估计量进行标准化，使之服从某一标准分布，如我对参数估计量进行标准化，使之服从某一标准分布，如我们熟悉的们熟悉的t分布，得到检验统计量；分布，得到检验统计量；n以原假设的参数值作为检验统计量中的参数真值。如果原以原假设的参数值作为检验统计量中的参数真值。如果原假设为假设为“真真”，则检验统计量就服从相应的理论分布。反，则检验统计量就服从相应的理论分布。反之，检验统计量就不服从该分布。之，检验统计量就不服从该分布。n基于所选择的显著性水平，将检验统计量的理论分布区间基于所选择的显著性水平，将检验统计量的理论分布区间划分为小概率的划分为小概率的“拒绝域拒绝域”和大概率的和大概率的“不拒绝域不拒绝域”。n根据参数的估计值计算检验统计量的值。如果检验统计值根据参数的估计值计算检验统计量的值。如果检验统计值出现在拒绝域，根据出现在拒绝域，根据“小概率事件原理小概率事件原理”，原假设很可能，原假设很可能是是“假假”的，则拒绝原假设。反之，就没有充分的理由拒的，则拒绝原假设。反之，就没有充分的理由拒绝原假设。绝原假设。23二、单参数的显著性检验二、单参数的显著性检验 1.随机误差项方差的显著性检验随机误差项方差的显著性检验如果随机误差项i是经典误差项，且满足正态性假定，则：22)1()1(222KNKN 222来源来源：标准化残差服从标准正态分布，统计量实际上是N-(K+1)个相互独立的标准化残差的平方和。而服从标准正态分布的多个独立统计量平方加总，所得到的新统计量就服从 分布。24双侧检验双侧检验0概率密度概率122/122/图4.3.1 2（N-K-1）的双侧临界值双侧检验：统计值如果落入两尾中的任何一个则拒绝原假设 250概率概率概率密度212图4.3.2 2（N-K-1）的单侧临界值单侧检验单侧检验2200H：，202:AH2200H：，拒绝域在右侧拒绝域在左侧202:AH26例子：中国宏观生产函数例子：中国宏观生产函数01.0:20H01.0:2AH估计得到：0112.02 检验统计值为：12.2901.00112.0)1229(222201.0213.843941.9232，待检验假设为：在5%的显著性水平上，不能拒绝 的原假设。272.单个回归系数的显著性检验单个回归系数的显著性检验如果随机误差项i是经典误差项，并且满足正态性假定：)1,0()(ZNsdkkk 用估计量的标准误替代标准差，统计量服从t分布。即：)1()(kNtsetkkk注意：注意：与一元回归的唯一区别是自由度。28三、多参数的线性约束检验三、多参数的线性约束检验1：模型的总体显著性检验：模型的总体显著性检验（5.4.3）0:10KH:AH1、若随机误差项满足K中至少一个不为0。),0(2iidN则在原假设成立情况下：有)1,()1/(/kNKFKNRSSKESSF29F分布的密度函数分布的密度函数0F概率1概率概率密度图4.3.3 F检验的判定规则注意：注意：总体显著性检验是单边的右侧检验总体显著性检验是单边的右侧检验。若统计量的统计值超过 ，则拒绝原假设F302：模型参数之间的线性约束检验：模型参数之间的线性约束检验：例子：柯布道格拉斯生产函数检验假设为：ttttLKQlnlnln210210:H1 1:21AH这样的多参数单个线性约束，有两种检验方法.31)1()()()(212121KNtset本例中：004874.01)6635.07512.0(t=5.9456。p值为0.0000 结论：结论：拒绝规模报酬不变的原假设，而认为规模报酬是递增的（为什么？）。（为什么？）。)1,0()var()()(212121N（1）t检验检验32（2）F检验：检验：n无约束回归方程n将原假设中的约束条件带入回归方程，得到了所谓的“有约束回归方程”。ttttLKQlnlnln210将其RSS记为urRSS，自由度为N-3。ttttLKQln)1(lnln110将其RSS记为rRSS，自由度为N-2。33urRSSrRSS基于和，在原假设成立的情况下，有)3,1()3/(1/)(NFNRSSRSSRSSFururr如果原假设为真，我们会倾向于得到较小的值。反之，我们会倾向于得到较大的值。检验统计量检验统计量判定判定：若F值大于临界值，或p值小于显著性水平，则