时间序列分析的基本概念.docx
第二章时间序列分析的根本概念本章将介绍时间序列分析的一些根本概念，其中关于平稳性、自协方差函数和样本自协方差函数的概念尤为重要。由于时间序列是随机过程的特例，所以我们首先介绍随机过程的一些根底概念和根本理论，最后介绍一些差分方程理论和动态数据的预处理方法。§2.1随机过程在对某些随机现象的变化过程进行研究时，需要考虑无穷多个随机变量，必须用一簇随机变量才能刻画这种随机现象的全部统计特征，这样的随机变量族通常称为随机过程。下面为几个常见的随机过程的例子：例2.1(随机游动)设X,X2,是一列独立同分布的随机变量序列，令sn=s0+x1+x2+x,那么称随机变量序列S;=OJ为随机游动。其中SO是与X,X2,相互独立(但是不同分布)的随机变量，一般地，我们总是假定SO=0。如果P(Xzj=I)=P(Xw=-I)=1/2s就是一般概率论与数理统计教材中提到的简单随机游动。例2.2(布朗运动)英国植物学家布朗注意到漂浮在液面上的微小粒子不断进行无规那么的运动，它是分子大量随机碰撞的结果。这种运动后来称为布朗运动。假设记(XQ),YQ)为粒子在平面坐标上的位置，那么它是平面上的布朗运动。例2.3在通信工程中，交换台在时间段0,H内接到的呼唤次数是与t有关的随机变量X(Z),对于固定的r,X(f)是一个取非负整数的随机变量，那么XQ),r0,oo)是随机过程。下面介绍随机过程的定义。随机试验所有可能结果组成的集合称为这个试验的样本空间，记为C,其中的元素。称为样本点或根本领件，。的子集A称为事件，样本空间C称为必然事件，空集中称为不可能事件，尸是的某些子集组成的集合组，P是(,可上的概率。定义2.1随机过程是概率空间(Q,F,尸)上的一族随机变量XQ),fT,其中I是参数，它属于某个指标集T,T称为参数集。随机过程可以这样理解：对于固定的样本点为wX",g)就是定义在T上的一个函数，称之为X。)的一条样本路径或一个样本函数；而对于固定的时刻r,X=X(AG)是概率空间上的一个随机变量，其取值随着试验的结果而变化，变化的规律成为概率分布。随机过程的取值称为过程所处的状态，状态的全体称为状态空间，记为S。根据T及S的不同，过程可以分成不同的类：依照状态空间可分为连续状态和离散状态；依照参数集可分为离散参数和连续参数过程。对于一维随机变量，掌握了它的分布函数就能完全了解该随机变量。对于多维随机变量，掌握了它们的联合分布函数就能确定它们的所有统计特性。对于由i族或多个随机变量形成的随机过程，要采用有限维分布函数族来刻画其统计特性。定义2.2随机过程的一维分布，二维分布，n维分布，等等，其全体称为过程X的有限维分布族一个随机过程的有限维分布族具有如下两个性质：对称性：对(1,2,的任一排列(U,JJ，有.r(x,1,X;)=4,J(X,天)(2.1),*zfJJnflr1(2)相容性：对机，有耳也(和，/,8,，8)=.%(卡,/)(2.2)对于满足对称性和相容性条件的分布函数族F,是否一定存在一个以F作为有限维分布函数族的随机过程呢？柯尔莫哥洛夫定理给出了确定的结论。定理2.1(柯尔莫哥洛夫定理)设分布函数族”.跖(玉,当,f,r"l满足上述的对称性和相容性，那么必存在一个随机过程XQ)"7,使】Fa,怎),4,"eT1恰好是Xa)的有限维分布族。柯尔莫哥洛夫定理说明，随机过程的有限维分布函数族是随机过程概率特征的完整描述。在实际问题中，要掌握随机过程的全部有限维分布函数族是不可能的，一般是利用随机过程的某些统计特征，如下是一些常用的统计特征：定义2.3设X()JWn是一个随机过程，如果对任意，T,"X。)存在，那么称函数x(t)=EX(t),t三T(2.3)为X”)T的均值函数称rx(5,0=E(X(三)-x(三)(X一xQ),s,teT(2.4)为X")jer的协方差函数C称Dx(0=rx(r)=EX(t)-x(t)s,ieT(2.5)为X()feT的方差函数二均值函数是随机过程x()f在时刻t的平均值，方差函数是随机过程在时刻t对均值Xa)的偏离程度，而协方差函数和相关函数那么反映了随机过程在时刻S和I时的线性相关程度。§2.2平稳过程的特征及遍历性有一类重要的过程，它处于某种平稳状态，其主要性质与变量之间的时间间隔有关，与所考察的起始点无关，这样的过程称为平稳过程。定义2.4如果随机过程X()f7对任意的小,tr和任意的力(使得ti+?T,z=1,2,)，有：(乂(4+),*«2+4)-,乂9+初与(乂(4),乂«2)、乂(乙)具有相同的联合分布，记为(X(r1+),X(r2+),X(r+)(X(1),X(r2),X(r)(2.6)那么称X(",fT为严平稳的。对于严平稳过程而言，有限维分布关于时间是平移不变的，条件很强，不容易验证。所以引入另一种所谓的宽平稳过程或二阶平稳过程。定义2.5设X"T是一个随机过程，假设X(f)T的所有二阶矩都存在，并且对任意，T,EX()=4为常数，对任意s"T,r(s")只与时间差Z-S有关，那么称X()fT为宽平稳过程,简称平稳过程，假设T是离散集，那么称平稳过程X(f),feT为平稳序列例2.4随机过程定义为X=f“+£),0，V8,其中/是具有周期丁的函数，£是区间(0,7)上均匀分布的随机变量。问Xa)是否宽平稳过程？给出理由。解：/是具有周期T的函数，因而是有界函数，E是区间(0,T)上均匀分布的随机变量，因而E(XQ)=C/«+£)"£=f(r+e)"d(e+f)=0,为常数，B,s)=E(X(t)-E(X(O).(XGv)-E(XCv)=E(Xa)X(三)=Jof(f+£)/«+£+(ST),下公_(Var(X(t)9t-s=nT0,t-snT因而X的二阶矩都存在，均值函数为常数，协方差函数NS")只与，一S有关，因而是宽平稳过程。对于平稳过程而言，由于“5/)="0/-5),所以可以记为厂。一5)。对所有的1有r()=r(r),即为偶函数。所以Nf)的图形关于坐标轴对称，其在0点的值就是X。)的方差，并且,Q)"0)°此外，宽平稳过程的协方差函数具有非负定性，即对任意时刻乙，实数%,=1,2,N,有anamr(tn-tm)平稳随机过程的统计特征完全由其二阶矩函数确定。对固定时刻t,均值函数和协方差函数是随机变量XQ)的取值在样本空间上的概率平均，是由XQ)的分布函数确定的，通常很难求得。在实际中，如果一个较长时间的样本记录，是否可按照时间取平均代替统计平均呢？这是平稳过程的遍历性所要讨论的问题。由大数定律，设独立同分布的随机变量序列X","=L2,具有EX“=，DXll=2t那么这里，假设将随机序列X.,=1,2,看作是具有离散参数的随机过程，那么为随机过NA=I程的样本函数按不同时刻所取的平均值，该函数随样本不同而变化，是随机变量。而EX是随机过程的均值，即任意时刻的过程取值的统计平均。大数定律说明，随时间n的无限增长，随机过程的样本函数按时间平均以越来越大的概率近似于过程的统计平均。那么，只要观测的时间足够长，那么随机过程的每个样本函数都能够遍历各种可能状态。这种特性称为遍历性或各态历经性。定义2.6设乂(。,一00，+8为均方连续的平稳过程，那么分别称< X(Z)>=IimrX(t)dt(2.7)< X(Z)X(Z-T)>=IimrX(r)X(t-)dt(2.8)为该过程的时间均值和时间相关函数。定义2.7设X(f),-8Vt<+00为均方连续的平稳过程，假设1(2.9)(2.10)n-Xtdt=x那么称该平稳过程的均值具有各态历经性，假设1TIimrX(t)X(t-)dt=rx()那么称该平稳过程的协方差函数具有各态历经性。定义2.8如果均方连续的平稳过程的均值和相关函数都具有各态历经性，那么称该平稳过程具有各态历经性或遍历性。定理2.21均值遍历性定理(1)设*=乂“,=0,±1,±2是平稳序列，其协方差函数为r(f),那么X具有遍历性的充分必要条件是1N-IIim一r(t)=0(2.11)NT8N/=0(2)设X=X,-88是平稳过程，那么X具有遍历性的充分必要条件是蹲手(1一务"7)八=。(2J2)证明：由于证明的思路相同，这里只证明连续时间的均值遍历性定理。首先计算的均值和方差。Xr=X(t)dt那么有£X=EllimXr=IimE(X7)=Iim进而Var(X)=E(X-EX)2=E期号X(XS-MM2=配素反。(XQ)-M4=期奈匕匕E(X(t)-M(X(三)-"Mds1=yiir(t-s)dtds(2.13)在上述积分中，作变换=t-s=/+5那么变换的Jacobi行列式值为因而积分区域变换为顶点分别在r轴和U轴上的菱形区域：-2Tt±n2T°由于/«)是偶函数，故(2.13)式等于配素i-2-如=一：力QTTW)”=图JJr，(2T-)d二蚓，八T)(Iw)八(2.14)故关于均值的遍历性定理就化为上式极限是否趋于零的问题。于是由均方收敛的定义知这确实是等价的，定理结论得证。推论2假设忆卜()力V8,那么均值遍历性定理成立。证明：当0<r<27时，(1T2T)")卜Q)I(2.15)力卜询若用M力0(2.16)对于平稳过程的协方差函数的遍历性定理，可以考虑随机过程Z=(«),-oovr<8,其中Za)=(X。+,)一)(X(0)那么£工="切。由定理的证明过程可见，均值具有遍历性等价于Var(N)=0。因此可以类推协方差函数具有遍历性等价于var(“)=0.于是有以下定理：定理2.L31协方差函数遍历性定理)设X=X,tooo是平稳过程，其均值函数为零，那么协方差函数有遍历性的充分必要条件是Iim1(1-)(B(r1)-r2(0)<7r1=O(2.17)*T2T其中B(1)=EX(r÷+r1)X(r+r1)X(z+r)X(r)(2.18)在实际问题中，要严格验证平稳过程是否满足遍历性的条件是比拟困难的。遍历性定理的重要意义在于从理论上给出如下结论：一个实平稳过程，如果它是遍历的，那么可用任意一个样本函数的时间平均代替平稳过程的统计平均。在时间序列分析中，还会经常遇到白噪声过程，定义如下：定义2.9如果随机过程X。)。=1,2,)是由一个不相关的随机变量序列构成，即对于所有sf,随机变量X,和XS的协方差均为零，即随机变量X,和X,互不相关，那么称其为纯随机过程.，对于一个纯随机过程来说，假设其期望和方差都为常数，那么称其为白噪声过程。白噪声过程的样本实现称为白噪声序列(Whitenoise)O特别地，对于白噪声序列弓,如果对于任意的s,l,/O'*StEt=,CoV(与,£$)=<(2.19)
