基于边界Fisher分析的人脸表情识别算法研究分析计算机科学与技术专业.docx
目录摘要1前言3第一章绪论41.1 研究背景及意义41.2 人脸表情识别方法概述41.2.1 基于几何特征的识别算法51.2.2 基于外貌特征的识别算法61.3 本文主要工作71.4 本文组织结构7第二章相关知识回顾92.1 线性判别分析92.2 局部FiSher判别分析92.3 边界Fisher分析102.4 本章小结12第三章稀疏边界Fisher分析算法133.1 算法的目标函数133.2 计算复杂度约减143.3 投影矩阵的稀疏化143.4 数据分类163.5 仿真实验163.6 本章小结17第四章基于稀疏边界FiSher分析的人脸表情识别184.1 人脸表情数据集184.2 实验结果分析204.2.1 JAFFE数据集上的实验204.2.2 在CK+数据集上的实验234.2.3 在GEMEP-FERA数据集上的实验24244.2.4 统计检验4.3 本章小结25第五章总结与展望5.1 本文总结5.2 后续工作展望参考文献26262728错误!未定义书签。错误!未定义书签。本科学习期间的研究成果致谢人脸表情识别已经成为计算机视觉和模式识别等领域的热点课题之一。人脸表情识别的主要工作是首先使用一组被标记的面部表情训练图像来建立模型，然后使用该模型来识别未知人脸图像中的表情。简单地说，人脸表情识别问题大致分为两个步骤：特征提取和识别分类。使用有效的面部图像特征提取方法来描述表情特征是构建自动面部表情识别系统的主要任务。子空间学习方法是一种经典的特征提取方法，该类方法能够从存在大量冗余信息的高维数据中提取有效的判别信息。本文从降维算法的有效性出发，研究适用于人脸表情特征的子空间学习算法。本文研究了常用的经典子空间学习方法，并提出了用于人脸表情识别的稀疏边界Fisher分析(SParSeMarginalFisherAnalysis,SMFA)算法。该算法在边界Fisher分析算法的基础上引入稀疏性，从而能获得一个稀疏的投影矩阵。类似于边界FiSher分析算法，SMFA计算类内离散度矩阵和类间离散度矩阵，用来分别描述相同类之间的几何结构和不同类之间的局部判别结构。与边界FiSher分析不同的是，为求得投影矩阵，SMFA要去除总离散度矩阵包含的零空间。由于投影矩阵的稀疏性能够减少后续投影过程中的计算量，同时也能够减少投影矩阵的存储空间且能够提高模型的泛化性能，本文使用线性Bregman迭代算法来求得稀疏投影矩阵。在JAFFE、CK+和GEMEP-FERA表情数据集上的大量实验证明了本文所提出方法的有效性。关键词：人脸表情识别；特征提取；边界FiSher分析；稀疏学习；线性Bregman迭代AbstractFacialexpressionrecognitionhasbecomeoneofthehottopicsinthefieldsofcomputervisionandpatternrecognition.Themainjoboffacialexpressionrecognitionistomarkuntaggedtestimageswithasetofmarkedfacialexpressiontrainingimages.Simplyput,thetaskoffacialexpressionrecognitioncanberoughlydividedintotwosteps:featureextractionandrecognitionclassification.Usingeffectiveandefficientfacialimagedescriptionmethodstoextractexpressionfeaturesisthemaintaskofconstructingautomaticfacialexpressionrecognitionsystems.Subspacelearningisonekindofclassicalmethodsfordimensionreduction.Subspacelearningmethodscanextracteffectivediscriminantinformationfromhigh-dimensionaldatawithalargeamountofredundantinformation.Thisthesisfocusesontheeffectivenessofdimensionreductionalgorithmandstudiessubspacelearningalgorithmsforfacialexpressionrecognition.Thisthesisconsiderscommonlyusedclassicalsubspacelearningmethods,andproposessparsemarginalFisheranalysis(SparseMarginalFisherAnalysis,SMFA)algorithmforfacialexpressionrecognition.SMFAintroducessparsityintoMFAandcanobtainthesparseobjectionmatrix.SimilartomarginalFisheranalysis,SMFAdefinesintra-classadjacencymatricesandinter-classadjacencygraphs,whichareusedtodescribethegeometricstructureofdatainthesameclassandthelocaldiscriminantstructureofdataamongdifferentclasses,respectively.Andinordertoimprovethegeneralizationperformanceoftheobtainedmodel,thelinearBregmaniterationalgorithmisutilizedtoobtainthesparseobjectionmatrix,whichisdifferentfrommarginalFisheranalysis.ExperimentalresultsonJAFFE,CK+,andGEMEP-FERAexpressiondatasetsdemonstratetheeffectivenessoftheproposedmethod.Keywords:FacialExpressionRecognition;FeatureExtraction;MarginalFisherAnalysis;SparseLearning;LinearBregmanIteration由于面部表情识别在心理学、谎言检测、人机交互、电子娱乐和精神病理学分析等各个领域具有广泛的应用场景，它已成为模式识别及情感计算领域一个非常活跃和关键的研究课题。经过几十年的研究发展，人脸表情识别领域的研究已经初具规模，目前大量的识别方法已经被提出并得到了广泛的应用。已有的人脸表情识别算法大致可以分为两类:基于几何特征的学习方法和基于外貌特征的学习方法两类。大量的研究表明，基于几何特征的方法因其识别准确度依赖于面部部位的精准定位1,8,其识别效果要劣于基于外貌特征的学习方法子空间学习方法在基于外貌特征的识别方案中应用广泛，该类算法能够从存在大量冗余的高维数据中提取有效且维度较低的判别信息。人脸表情识别方案中常用的子空间学习方法有线性判别分析、局部线性判别分析、边界FiSher分析等。本文以基于人脸表情图像的识别方法为主要研究对象，分析对比了大量已有的人脸表情识别算法，尤其是基于人脸表情图像的识别方案中常用的子空间学习方法。本文向边界FiSher分析算法引入稀疏性，并提出了一种新的稀疏子空间学习方法，即稀疏边界Fisher分析算法。在JAFFE、CK+、GEMEP-FERA表情数据集上进行了实验，分析对比实验结果，验证了本文提出的稀疏边界FiSher分析算法的有效性。第一章绪论本章首先简述了人脸表情识别技术的研究背景及意义，其次对已有的人脸表情识别方法进行简单的分类概述，然后对本文的主要工作内容以及创新点进行阐述，最后介绍了本文的组织结构。1.1 研究背景及意义随着计算机技术的进步，人工智能和模式识别得到了长足的发展，在互联网等产业应用的推动下，生物识别成为研究的一个热点。生物识别包括人脸识别、虹膜识别、指纹识别、语音识别、签名识别、步态识别、表情识别等多个领域，这些技术已经广泛应用于社会生活的方方面面，在使用科技促进便捷人们生活的过程中发挥着越来越重要的作用。面部表情识别(FaeialEXPreSSionReCOgnitiOn,FER)作为生物识别的一种，在心理学、谎言检测、人机交互(HUman-COmPUterImeraCtiOn,HCI)和精神病理学分析等各个领域有着广泛的应用场景，已经成为人工智能领域一个非常活跃和关键的研究课题1,21。表情是人类表达各种情感(如欢喜、悲伤、愤怒等)的主要方法，它和自然语言一起传递信息，具有重要的研究价值。人脸表情是一种复杂的肌肉运动，每种表情都是人面部44块肌肉共同运动的组合，想要使用一个确切有效的数学模型来描述表情具有一定的困难性和复杂性。人脸表情识别的主要工作是使用一组被标记的面部表情训练图像建立模型，使用该模型识别未知人脸图像中的表情。使用有效的面部图像特征提取方法来描述表情特征是构建自动面部表情识别系统的主要任务。本文聚焦于表情识别中的特征提取方法,主要研究子空间学习方法在表情特征提取中的应用。1.2 人脸表情识别方法概述在表情图像的特征提取方面，图像特征的描述方法可以大致分为两大类1,其中一种是基于几何特征的学习方法，另一种是基于外貌特征的学习方法。基于几何的方法通过描述面部几何结构来完成识别任务，面部几何结构即一系列显著的基准点组成面部部位的形状，如眼睛和嘴巴的边缘。使用基于几何的方法进行特征提取存在一个不能忽视的问题，即这些方法的识别性能主要取决于面部部位的准确检测，而这在构建自动表情识别系统的过程中是非常不稳定和不可靠的1O最近对FER的研究表明，基于外貌特征的方法比基于几何特征的方法更强大，可以达到更高的识别精度6,7。基于外貌特征的表情识别方法通过人脸面部纹理进行识别，在该类方法中，大多数的研究集中在子空间学习算法邻域10,13,14,18。下面对基于几何特征的识别方法和基于外貌特征的识别方法分别进行介绍。1.2.1 基于几何特征的识别算法基于几何特征的识别方法使用一组面部基准点来表示面部部位的形状和位置。因为人类的面部表情主要集中在嘴部、眼部、眉部、鼻部等部位，基于几何特征的识别方法需要用基准点来描述出这些部位的边缘以达到表示表情的目的。这些标记出来的基准点被用来提取特征矩阵，用来表示面部几何形状。活动外观模型(ACliVeAppearanceModel,AAM)和Ekman的面部动作编码系统(FaCiaIACtiOnCOdingSyStem,FACS)3,5是两种最典型的基于几何特征的学习方法。AAM建立了一种对目标对象变化程度的参数化描述，这种方法首先从给定的训练集中提取对象的模型，再对模型通过某种规则进行组合形成新的对象。这种机制能在新图像中搜索定位既定目标，并用较少的参数对新对象进行描述。FACS基于44个面部动作单位(ACtionUnit,AU)4,面部动作可以粗略地解释为人类面部肌肉运动的最小可见单位。这44个基本动作单元可以用来描述几
