（ppt）主成分分析.ppt

《（ppt）主成分分析.ppt》由会员分享，可在线阅读，更多相关《（ppt）主成分分析.ppt（89页珍藏版）》请在优知文库上搜索。

1、zf (Principal Components Analysis)v什么是主成分和主成分分析？什么是主成分和主成分分析？v理解主成分分析的基本思想和几何意义？理解主成分分析的基本思想和几何意义？v理解并掌握基于协方差矩阵或相关系数矩阵求解主成分？理解并掌握基于协方差矩阵或相关系数矩阵求解主成分？v如何确定主成分个数？如何确定主成分个数？v如何解释主成分？如何解释主成分？v掌握运用掌握运用SPSSSPSS软件求解主成分软件求解主成分v对软件输出结果进行正确分析对软件输出结果进行正确分析2024-5-22zfo 多个指标的问题多个指标的问题:v 1 1、指标与指标可能存在相关关系指标与指标可能存

2、在相关关系 信息重叠，分析偏误信息重叠，分析偏误v 2 2、指标太多，增加问题的指标太多，增加问题的复杂性复杂性和和分析难度分析难度 如何避免？如何避免？2024-5-23zf5.1 5.1 主成分分析的主成分分析的基本思想基本思想 一项十分著名的工作是美国的统计学家斯通(stone)在1947年关于国民经济的研究。他曾利用美国1929一1938年各年的数据，得到了17个反映国民收入与支出的变量要素，例如雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息外贸平衡等等。在进行主成分分析后，竟以97.4的精度，用三新变量就取代了原17个变量。根据经济学知识，斯通给这三个新变量分别命名为

3、总收入F1、总收入变化率F2和经济发展或衰退的趋势F3。v 更有意思的是，这三个变量其实都是可以直接测量的。斯通将他得到的主成分与实际测量的总收入I、总收入变化率I以及时间t因素做相关分析，得到下表：F1F1F2F2F3F3i ii it tF1F11 1 F2F20 01 1 F3F30 00 01 1 i i0.9950.995-0.041-0.0410.0570.057l l i i-0.056-0.0560.9480.948-0.124-0.124-0.102-0.102l l t t-0.369-0.369-0.282-0.282-0.836-0.836-0.414-0.414-0.

4、112-0.1121 12024-5-25zf主成分分析：主成分分析：将原来具有相关关系的多个指标简化为少数几个将原来具有相关关系的多个指标简化为少数几个新的综合指标的多元统计方法。新的综合指标的多元统计方法。主成分：主成分：由原始指标综合形成的几个新指标。依据主成分所含由原始指标综合形成的几个新指标。依据主成分所含信息量的大小成为第一主成分，第二主成分等等。信息量的大小成为第一主成分，第二主成分等等。主成分与原始变量之间的关系主成分与原始变量之间的关系：（1 1）主成分保留了原始变量绝大多数信息。）主成分保留了原始变量绝大多数信息。（2 2）主成分的个数大大少于原始变量的数目。）主成分的个数

5、大大少于原始变量的数目。（3 3）各个主成分之间互不相关。）各个主成分之间互不相关。（4 4）每个主成分都是原始变量的线性组合。）每个主成分都是原始变量的线性组合。2024-5-26zf5.2 5.2 数学模型与几何解释数学模型数学模型与几何解释数学模型v 假设我们所讨论的实际问题中，有p个指标，我们把这p个指标看作p个随机变量，记为X1，X2，Xp，主成分分析就是要把这p个指标的问题，转变为讨论p个指标的线性组合的问题，而这些新的指标F1，F2，Fk(kp），按照保留主要信息量的原则充分反映原指标的信息，并且相互独立。v 这种由讨论多个指标降为少数几个综合指标的过程在数学上就叫做降维。主成分

6、分析通常的做法是，寻求原指标的线性组合Fi。2024-5-27zf原始指标的线性组合原始指标的线性组合Fi：v 满足如下的条件：满足如下的条件：1、每个主成分的系数平方和为、每个主成分的系数平方和为1。即。即 2、主成分之间相互独立，即无重叠的信息。即、主成分之间相互独立，即无重叠的信息。即 3、主成分的方差依次递减，重要性依次递减、主成分的方差依次递减，重要性依次递减ppppppppppXuXuXuFXuXuXuFXuXuXuF22112222121212121111122221ipiiuuupjijiFFCovji，），（210)()(21pFVarFVarFVar）（Why?AXXXXu

7、uuuuuuuuFPpppppp212122221112112024-5-28zfv 假设有n个样品，每个样品有两个观测变量xl和x2，在由变量xl和x2 所确定的二维平面中，n个样本点所散布的情况如椭圆状。如图所示：5.2 5.2 数学模型与几何解释几何解释数学模型与几何解释几何解释2F1F1x2x平移、旋转坐标轴2024-5-29zfv 由图可以看出这n个样本点无论是沿着xl 轴方向或x2轴方向都具有较大的离散性，其离散的程度可以分别用观测变量xl 的方差和x2 的方差定量地表示。显然，如果只考虑xl和x2 中的任何一个，那么包含在原始数据中的经济信息将会有较大的损失。v 如果我们将xl

8、轴和x2轴先平移，再同时按逆时针方向旋转角度，得到新坐标轴Fl和F2。Fl和F2是两个新变量。Fl轴方向上的离散程度最大，即轴方向上的离散程度最大，即Fl的方差最大。说明变量的方差最大。说明变量Fl代表了原始代表了原始数据的绝大部分信息，即使不考虑变量数据的绝大部分信息，即使不考虑变量F2也无损大局。也无损大局。2024-5-210zf2x1x1F2F平移、旋转坐标轴2024-5-211zf2x1x1F2F 平移、旋转坐标轴2024-5-212zfv 根据旋转变换的公式：根据旋转变换的公式：cossinsincos212211xxyxxyxU2121cossinsincosxxyy正交矩阵，即

9、有为旋转变换矩阵，它是UIUUUU,12024-5-213zfv 旋转变换的目的：旋转变换的目的：将原始数据的大部分信息集中到将原始数据的大部分信息集中到F Fl l轴上，对轴上，对数据中包含的信息起到了浓缩作用。数据中包含的信息起到了浓缩作用。v 主成分分析的主成分分析的几何意义几何意义：主成分分析的过程也就是坐标旋转的：主成分分析的过程也就是坐标旋转的过程，各主成分表达式就是新坐标系与原坐标系的转换关系，过程，各主成分表达式就是新坐标系与原坐标系的转换关系，新坐标系中各坐标轴的方向就是原始数据方差最大的方向。新坐标系中各坐标轴的方向就是原始数据方差最大的方向。其优点：其优点：（1）可达到简

10、化数据结构的目的。（）可达到简化数据结构的目的。（2）新产生的综合变量）新产生的综合变量Fl，F2具有不相关的性质，从而避免了信息重叠所带来的虚假性。具有不相关的性质，从而避免了信息重叠所带来的虚假性。2024-5-214zf 了解了主成分分析的基本思想、数学和几何意义后，问题的关键：1 1、如何进行主成分分析？（主成分分析的方法）、如何进行主成分分析？（主成分分析的方法）基于相关系数矩阵还是基于协方差矩阵做主成分分析。当分析中所选择的经济变量具有不同的量纲，变量水平差异很大，应该选择基于相关系数矩阵的主成分分析。2 2、如何确定主成分个数？、如何确定主成分个数？主成分分析的目的是简化变量，一

11、般情况下主成分的个数应该小于原始变量的个数。关于保留几个主成分，应该权衡主成分个数和保留的信息。3 3、如何解释主成分所包含的经济意义？、如何解释主成分所包含的经济意义？2024-5-215zfv 主成分分析的目标：主成分分析的目标：1、从相关的、从相关的X1，X2，Xk,求出相互独立的新综合变量（主成分）求出相互独立的新综合变量（主成分）Y1,Y2Yk。2、Y（Y1,Y2Yk）的方差的方差等于等于X（X1,X2Xk）的方差的方差。X与与Y之间的计算关系是：之间的计算关系是：AXYXXaaaaYYkkkkkk即1111115.35.35.5 5.5 主成分的求解及其性质主成分的求解及其性质如何

12、求解如何求解主成分？主成分？2024-5-216zf矩阵知识回顾：矩阵知识回顾：（1）特征根与特征向量）特征根与特征向量A、若对任意的若对任意的k阶方阵阶方阵C，有数字有数字 与向量与向量 满足：满足：，则称则称 为为C的特征根，的特征根，为为C的相应于的相应于 的特征向量。的特征向量。B、同时，方阵同时，方阵C的特征根的特征根 是是k阶方程阶方程 的根。的根。（2）任一）任一k阶方阵阶方阵C的特征根的特征根 的性质：的性质：C0 ICj对角线上的元素之和矩阵CCtrkjj)(12024-5-217zf（3）任一）任一k阶的实对称矩阵阶的实对称矩阵C的性质：的性质：A、实对称矩阵实对称矩阵C的

13、非零特征根的数目的非零特征根的数目C的秩的秩B、k阶的实对称矩阵存在阶的实对称矩阵存在k个实特征根个实特征根C、实对称矩阵的不同特征根的特征向量是正交的实对称矩阵的不同特征根的特征向量是正交的D、若若 是实对称矩阵是实对称矩阵C的单位特征向量，则的单位特征向量，则若矩阵若矩阵 ，是由特征向量，是由特征向量 所构成的，则有：所构成的，则有：jjjjCjkjjC0012024-5-218zf基于协方差矩阵求解主成分基于协方差矩阵求解主成分v 假设有n个样本，每个样本有 p 个观测变量。运用主成分分析构造以下 p 个主成分关于原始变量的线性组合模型:pppppppppxaxaxaFpxaxaxaFx

14、axaxaF22112222121121211121AXXXXaaaaaaaaaFPpppppp21212222111211这就是正交旋转变换矩阵这就是正交旋转变换矩阵2024-5-219zfv 假设假设p个原始变量的协方差阵为个原始变量的协方差阵为:PPPPPPX212222111211;0,;,2231132112212211且不全为对角线外的元素的方差分别代表对角线上的元素pppppxxx这是个什这是个什么矩阵？么矩阵？对角线外的元素不对角线外的元素不为为0 0意味着什么？意味着什么？2024-5-220zf 对角线外的元素不全为对角线外的元素不全为0，意味着原始变量，意味着原始变量 x

15、1,x2,xp存在相关关系。存在相关关系。如何运用主成分分析将这些具有相关关系的变量转化为如何运用主成分分析将这些具有相关关系的变量转化为没有相关关系的新变量（主成分）呢？没有相关关系的新变量（主成分）呢？新变量之间没有相关关系，则意味着它的方差协方差阵新变量之间没有相关关系，则意味着它的方差协方差阵为为对角矩阵对角矩阵：p001如何将如何将 x 转化为转化为并计算出新变量并计算出新变量（主成分）（主成分）?2024-5-221zfv因为因为x 为正定对称矩阵，所以依据线性代数的知识可知有正交为正定对称矩阵，所以依据线性代数的知识可知有正交矩阵矩阵 A 将将x 旋转变换为：旋转变换为：pAA0

16、01X为协方差阵为协方差阵x x的特征根的特征根A A为协方差阵为协方差阵xx的特征根所对的特征根所对应的特征向量。应的特征向量。如何计算如何计算x的特征的特征根根和特征向量和特征向量A?x的特征根的特征根 1，2，p 分别代表主成分分别代表主成分F1,F2,FP的方差的方差;且且 1 2 p 正交变换矩阵正交变换矩阵A是是 原始变量协方差阵原始变量协方差阵x的特征根的特征根 对应的特征向量，且满足对应的特征向量，且满足 AA=1.2024-5-222zf基于协方差矩阵求解主成分的步骤基于协方差矩阵求解主成分的步骤1 1、计算协方差矩阵和其特征根计算协方差矩阵和其特征根2 2、计算协方差矩阵特征根对应的特征向量计算协方差矩阵特征根对应的特征向量3 3、第一主成分的系数等于第一主成分的系数等于协方差矩阵的第一大特征根对应协方差矩阵的第一大特征根对应的特征向量的特征向量 第二主成分的系数等于协方差矩阵的第二大特征根对应第二主成分的系数等于协方差矩阵的第二大特征根对应的特征向量，等等的特征向量，等等111aa0Iiiiaa)(21pkkiaF，Xii2024-5-223zf4、计算累积贡献率