《机器学习基础及应用》教案第9课使用支持向量机实现图像识别.docx

《《机器学习基础及应用》教案第9课使用支持向量机实现图像识别.docx》由会员分享，可在线阅读，更多相关《《机器学习基础及应用》教案第9课使用支持向量机实现图像识别.docx（11页珍藏版）》请在优知文库上搜索。

1、课题使用支持向量机实现图像识别课时2课时(90min)教学目标知识技能目标：(1)掌握线性可分数据的支持向量机分类原理(2)掌握线性不可分数据的支持向量机分类原理(3)了解支持向量机的回归原理(4)掌握支持向量机的Sklearn实现方法(5)掌握支持向量机的参数调节方法(6)能够使用支持向量机训练模型(7)能够编写程序,寻找支持向量机参数的最优值素质目标：了解时代新科技，激发学习兴趣和创新思维，增强民族自信心帮助学生树立履行时代使命的责任担当，激起学生报效祖国的理想情怀教学重难点教学重点：线性可分数据的支持向量机分类原理，线性不可分数据的支持向量机分类原理，支持向量机的回归原理，支持向量机的S

2、klearn实现方法，支持向量机的参数调节方法教学难点：使用支持向量机训练模型；能够编写程序，寻找支持向量机参数的最优值教学方法案例分析法、问答法、讨论法、i井授法教学用具电脑、投影仪、多媒体课件、教材教学过程主要教学内容及步骤课前任务【教师】布置课前任务，和学生负责人取得联系，让其提醒同学通过APP或其他学习软件，完成课前任务，提前了解使用支持向量机实现图像识别的相关知识【学生】完成课前任务考勤【教师】使用APP进行签到【学生】班干部报请假人员及原因问题导入【教师】提出以下问题：线性可分雌的支持向量机分类原理，支持向量机对线性不可分数据进行分类的原理是什么？支持向量机常用的核函数有哪些？【学

3、生】思考、举手回答传授新知【教师】通过学生的回答引入要讲的知识，介绍支持向量机的基本原理、支持向量机的Sklearn实现等知识7.1 支持向量机的基本原理支持向量机(supportvectormachine,SVM)是一种应用非常广泛的机器学习模型,能够解决线性和非线性的分类与回归问题。从实际应用来看，支持向量机在各种实际问题中的表现都常优秀，其在人脸识别、文本和超文本分类、图像分割等领域都有着非常重要的地位。支持向量机非常适合解决复杂但数据集规模较小的分类问题.7.1.1 支持向量机的分类原理1.线性可分数据的支持向量机分类原理对于线性可分的数据，支持向量机对其进行分类的原理是，给定一个训练

4、数据集，基于这个数据集在样本空间中找到一个分类超平面，将不同类别的样本分开.在二维空间中，超平面表现为线的形式.【教师】通过多媒体展示“数据样本点与分类超平面”图片（详见教材），并迸彳方并解有两类不同的样本数据Dl和D2,Dl用小正方形表示，D2用实心圆表示，支持向量机的分类方法就是在这组样本中找到一个分类超平面作为决策边界,决策边界一侧的所有样本在分类中属于一个类别，另一侧的所有样本在分类中属于另一个类别。【教师】通过多媒体展示“数据样本点与多个分类超平面”图片（详见教材），并进彳方并解可见，支持向量机最重要的任务是从样本空间中找到一个合适的分类超平面。在图7-1的数据分布中，很容易就能在小

5、正方形和实心圆之间画出多个分类超平面。接下来通过计算寻找最合适的分类超平面。【教师】通过多媒体展示“支持向量与间隔”图片（详见教材），并进行讲解在分类任务中，样本数据点与决策边界（分类超平面）的距离越远，说明模型越好。然而在实际应用中，往往不需要计算所有样本数据点与决策边界的距离，而是计算离决策边界最近的样本数据点与决策边界的距离，如果这些样本数据点能分类正确，那么，其他样本数据点也能分类正确。在支持向量机中，通常把离分类超平面距离最近的样本数据点称为支持向量，而两个异类支持向量到分类超平面的距离之和称为分类超平面的间隔，通常记作L显然，离分类超平面距离最近的点到分类超平面的距离（间隔）d最大

6、时对应的分类超平面就是最优分类超平面。因此，寻找最优分类超平面的过程就转化成了求间隔d的最大值的过程。只要计算出d的最大值，就能找到对应的分类超平面，这个分类超平面就是最优的分类超平面。在样本空间中，通常使用方程WTX+6=来描述超平面。其中，=（叫吗，町）为超平面的参数向量，决定了超平面的方向；X=（X，42，/）为特征向量；b为位移项，决定了超平面与原点之间的距离。那么，间隔d的计算公式可表示为2二何其中为向量W的模长，模长表示向量在空间中的长度。求d的最大值，就是求Wl的最小值，为方便计算，通常把求解的最小值转化为求解以下公式的最小值。这个公式就是支持向量机分类模型的损失函数，求解该损失

7、函数的最小值，一般需要先用拉格朗日函数将其转化为对偶问题，然后再使用序列最小优化（sequentialminimaloptimization,SMO）算法求解该对偶优化问题。【高手点拨】支持向量机分类模型的损失函数之所以要加上平方，是因为模长是一个带根号的式子，取平方是为了消除根号，方便求导。【教师】组织学生讨论以下问题：请同学们查阅相关资料，讨论什么是拉格朗日函数，什么是SMO算法。【学生】聆听、思考、讨论、回答计【教师】总结学生的回答2 .硬间隔与软间隔对于给定的线性可分训练样本数据集，上述SVM模型要求对任何训练样本都不能做出错误分类，这种构造SVM模型的方法称为硬间隔。可见，硬间隔对训

8、练样本数据集的线性可分性要求非常严苛.而实际上，多数样本数据集中都会存在噪声数据，通常只能大致将两类样本用分类超平面分割，此时将无法完成SVM模型的构造。为解决上述问题，人们提出了一种软间隔构造SVM模型的方法。训练软间隔SVM模型时并不要求所有训练样本都能被正确分类，而是允许少量训练样本被错误分类。软间隔的实现方法是在模型优化过程中引入一个取值较小的非负松弛变量来放宽约束条件。松弛变量的取值越大，SVM模型对错误分类的容忍度越高.3 .线性不可分数据的支持向量机分类原理【教师】通过多媒体展示“线性不可分样本数据集“和“高维空间样本数据集”图片（详见教材），并进行讲解线性可分样本数据集，可使用

9、上述线性支持向量机训练模型。然而，对于线性不可分的样本数据集就不能直接用线性支持向量机训练模型了，而需要使用核函数将样本数据点变换到适当的高维空间，使得样本数据点在高维空间中满足线性可分，并由此构造所需的SVM模型。核函数的思想可用现实生活中的实例进行类比。例如，桌上随意散放着一些绿豆和瓜子，这些绿豆和瓜子由于是杂乱摆放的，因此无法用一条直线将其分开；这时，可用力拍一下桌子，使得绿豆和瓜子都弹起来；由于绿豆弹得高一些，瓜子弹得低一些，它们弹起来的瞬间，可在空中加一个平面把它们分隔开。核函数的思想与这个实例相似，使用核函数可将线性不可分的数据集变换到高维空间，然后再通过支持向量机进行分类，将非线

10、性问题转化为线性问题。支持向量机常用的核函数如表7-1所示。其中，多项式核函数和高斯径向基核函数（简称高斯核）是最常用的两种核函数。【教师】通过多媒体展示“支持向量机中常用的核函数”表格，介绍相关知识表7-1支持向量机中常用的核函数核函数含义适用场合参数linear()线性核函数蝌该核函数无参数polyO多项式核函数偏线性该核函数有3个参数，分别是gamma、degree和COe用rbf()高斯径向基核函数偏非线性该核函数的参数为gamma,这个参数的设置非常关键，如果设置过大，则整个高斯核会向线性核方向退化，向更高维度非线性投影的能力就会减弱；但如果设置过小，则会使得样本中噪声的影响加大，从

11、而干扰最终SVM的有效性sigmoid()双曲正切核函数非线性该核函数有两个参数，分别是gamma和COeK）7.1.2支持向量机的回归原理支持向量机除了能够用于分类任务，还可以用于回归任务。回归任务研究的是一组变量与另一组变量之间的关系，其预测结果是连续的数值。支持向量机用于回归任务的原理是，给定一个训练数据集，基于这个数据集在样本空间中找到一个形如的回归模型，来拟合样本数据点，使得模型的预演随与样本真实值y尽可能接近，其中与b是待确定的模型参数.对于一般的回归算法，学习得到的模型的输出值与样本真实值y完全相同时，损失才为零；而支持向量机回归模型允许与y之间存在偏差,当且仅当时，才计算损失，

12、相当于以为中心，构建一个宽度为2的间隔带（可将宽度为2的间隔带理解为关于超平面的管道），若训练样本落入此间隔带，则认为预测正确。【教师】通过多媒体展示“支持向量机回归模型”图片(详见教材)，并进行讲解在回归任务中，模型预测值与真实值越接近，说明模型越好，而支持向量机解决回归问题时，允许存在偏差，只需要计算I/*).的样本点的损失.因此，支持向量机回归模型的损失函数须在分类模型的损失函数中加入该条件，于是有19mllH+C(,)-yJ其中，C为正则化常数为不敏感损失函数Jc的取值为显然，损失函数最小时对应的W和b值即为最优参数值，对应的超平面即为最优超平面。求解该函数的最小值，与求解支持向量机分

13、类模型损失函数最小值的方法类似，一股需要先用拉格朗日函数将其转化为对偶问题，然后再用SMO算法求解该对偶优化问题。【高手点拨】支持向量机回归模型也可使用核函数将非线性数据变换到适当的高维空间，然后在高维空间中构造最优超平面。【教师】讲解“素养之窗”的内容(详见教材)，了解我国智能产业的发展7.2支持向量机的Sklearn实现7.2.1 Sklearn中的支持向量机模块Sklearn的svm模块提供了SVC类和SVR类，分别用于实现支持向量机分类和支持向量机回归。在Sklearn中，可通过下面语句导入支持向量机模块。fromsklearn.svmimportSVC#导入支持向量机分类模块from

14、sklearn.svmimportSVR#导入支持向量机回归模块SVC类和SVR类都有如下几个参数.(1)参数kernel用于指定核函数的类型，默认值为rbf(高斯径向基核函数)，其他值有linear,poly,sigmoid和precomputed(用户预先计算好的核矩阵，输入后算法内部将用用户提供的矩阵进行计算).(2)参数degree表示多项式核函数的维度，默认值为3,选择其他核函数时该参数会被忽略。(3)参数gamma为核函数rgb()、PoIyO和SigmOido的参数，其取值决定了数据映射到新的特征空间后的分布。默认值为auto,表示其值是样本特征数的倒数。(4)参数C表示松弛系数

15、的惩罚项系数，默认值为1.0如果C值设置得比较大,则模型预测准确率较高，泛化能力较弱；如果C值设置得比较小，则模型预测准确率会解氐，但是泛化能力会增强。(5)参数Coea)只针对POIyo和Sigmoido核函数，表示核函数的常数项。7.2.2 支持向量机参数的调节1 .使用核函数训练模型【例7-1】使用支持向量机的4种核函数(线性核函数、多项式核函数、高斯径向基核函数和双曲正切核函数)分别对Skleam自带的肺癌数据集进行分类，并除4种核函数的预测准确率。【程序分析】使用支持向量机对Skleam自带的肺癌数据集进行分类的步骤如下。(1)导入SkIeam自带的肺癌数据集，并杳看数据集中的数据。【参考代码】fromsklearn.datasetsimportload_breast_cancer#导入肺癌数据集fromsklearn.svmimportSVC#导入支持向量机分类模块fromsklearn.model_selectionimporttrain_test_splitimportnumpyasnpimportpandasaspdx,y=load_breast_cancer().