基于蜜蜂算法的支持向量机特征选择和参数优化.pdf 4页

第l1期组合机床与自动化加工技术NO．112013年11月ModularMachineTool&AutomaticManufacturingTechniqueNOV．2013文章编号：lOOt一2265(2013)11—0041一o3基于蜜蜂算法的支持向量机特征选择和参数优化术陈渊，马宏伟(西安科技大学a．理学院；b．机械工程学院，西安710054)摘要：针对支持向量机训练过程中特征选择和参数优化的问题，提出了一种基于蜜蜂算法的支持向量机特征选择和参数优化算法，并将其应用于焊接缺陷的自动分类。该算法采用分类正确率作为适应度，利用蜜蜂算法对支持向量机的模型参数进行优化，并同时选择最佳的特征子集。UCI标准数据集和焊接缺陷的分类实验结果表明，与常规支持向量机相比，蜜蜂算法优化的支持向量机能够克服局部最优解，获得了更高的分类正确率。因此，论文算法对于焊接缺陷的分类是有效可行的。关键词：支持向量机；蜜蜂算法；特征选择；参数优化中图分类号：TH16；TG659文献标识码：AFeatureSelectionandParameterOptimizationofSupportVectorMachineBasedontheBeesAlgorithmCHENYuan，MAHong．wei(a．CollegeofScience；b．CollegeofMechanicalEngineering，Xi’anUniversityofScienceandTechnolo—gy，Xi’an710054，China)Abstract：Aimingattheproblemoffeatureselectionandparameteroptimizationofsupportvectorma—chine(SVM)inthetrainingprocedure，anovelapproachbasedonthebeesalgorithm(BA)forfeatureselectionandparameteroptimizationofSVMisproposedandappliedtoautomaticclassificationofweld—ingflaws．Inthismethod，theclassificationaccuracyratewastakenasthefitnessvalue，andBAwassimultaneouslyusedtooptimizetheSVMparameterswhilediscoveringtheoptimalsubsetoffeaturesTheexperimentalresultsforUCIstandarddatasetsandweldingflawdatasetshowthatcomparedwithnormalSVM，theproposedapproachcanovercomethelocaloptimalsolutionproblem，andachieveshigherclas—sificationaccuracy．Therefore，theproposedapproachisvaluableforclassificationofweldingflaws．Keywords：supportvectormachine；thebeesalgorithm；featureselection；parameteroptimization过模拟自然界中蜜蜂的觅食行为寻找问题的最优0引言解。由于其原理简单、并行性、鲁棒性强且可避免陷支持向量机是在统计学习理论基础上发展起来入局部最优，已经成功应用于函数优化、模式识别等的一种新的机器学习方法，它基于结构风险最小化领域。因此，本文以采用RBF核函数的支持向量准则，避免了局部最优解，在解决小样本、非线性及机为对象，提出基于蜜蜂算法的支持向量机特征选高维模式识别问题中表现出许多独特的优势，因而择和参数优化算法，并利用UCI标准数据集和焊接在超声检测的缺陷分类方面得到了广泛的应用”。缺陷的分类实验验证其有效性。然而在实际应用中，支持向量机模型参数(如惩罚因1支持向量机分类性能影响因素分析子C、核函数参数)对分类性能有着重要的影响。另一方面，特征选择也是影响分类正确率的重要因素。支持向量机是一种适用于有限样本情况下的模因此，如何通过优化支持向量机参数和选择特征子式分类方法，它根据有限的样本信息在模型的复杂集以获得最优分类性能，是目前支持向量机分类问性和学习能力之间寻求最佳折中，以期获得最好的题研究领域的一个热点。泛化能力。它利用核函数通过非线性映射将输入空蜜蜂算法(theBeesAlgorithm，BA)是Pham等间映射到一个高维特征空间，并在特征空间中构造于2005年提出的一种新的群集智能搜索算法，它通最优分类超平面。SVM最初是针对二值分类问题设收稿日期：2013—03—08基金项目：国家自然科学基金资助项目(51074121)；陕西省教育厅科研计划项目资助(11JK0776)；西安科技大学博士启动金资助项目(2010QDj026)作者简介：陈渊(1975一)，男，陕西周至人，西安科技大学副教授，博士，主要从事超声无损检测与评价研究等，(E—mail)chenyuanl030@126．tom。 ·42·组合机床与自动化加工技术第ll期计的，而在实际应用中，多值分类问题更为普遍，因提出的一种优化算法。算法中食物源位置代表优化此提出了许多SVM多值分类方法，主要有一对一问题的一组解，由食物源位置及其近邻域形成一个(OAO)、一对多(OAA)、SVM层次多值分类方法小的搜索区域，称为花丛。(SVM—LMC)等。由于SVM—LMC方法比OAO、在搜索食物的过程中，蜜蜂群首先派出侦察蜂OAA多值分类方法具有更优的分类性能，因此本进行搜索，侦察蜂不断地从一个食物源飞往另一个文采用SVM层次多值分类方法进行研究。食物源，搜索所有可能的食物源。当搜索到食物源在支持向量机用于模式分类时，核函数、核函数的收益度(比如糖的含量)超过一定量时，侦察蜂返参数和惩罚因子c对分类性能有着很大的影响。由回蜂巢，卸下蜂蜜并在“跳舞板”上跳一种神奇的“摇于RBF核函数只需确定一个参数，有利于参数优摆舞”。这种“摇摆舞”是蜜蜂群进行信息交流的必化，而且能对高维数据进行分类，所以这里选择RBF要工具，能使整个蜂群了解到所发现食物源的方位、作为支持向量机的核函数。另外，特征选择也是影到蜂巢的距离和收益度。跳完舞后的侦察蜂带领守响分类正确率的重要因素，如果被分类的数据集包候在蜂巢外面的跟随蜂飞回到相应的食物源采蜜，含太多的特征，样本空间的维数会很大，将会降低并且收益度高的食物源将会招募到更多的跟随蜂前SVM分类器的性能，因此去除数据集中的冗余特征往采蜜。在采蜜过程中，采蜜蜂计算其正在采蜜的值能提高分类的速度和正确率。为了直观说明RBF食物源的收益度，并返回蜂巢跳“摇摆舞”，给蜂群传核函数参数、惩罚因子c和特征选择对支持向量递当前食物源收益度的信息。如果食物源收益度仍机分类性能的影响，表1给出了不同模型参数和特然较高，将会招募更多的跟随蜂前往采蜜；如果食物征选择情况下利用SVM层次多值分类方法对文献源的收益度低，则放弃当前食物源。[4]中的焊接缺陷数据集的分类测试结果。这里采该算法需要设置一些参数，即侦察蜂的数量n，n用的焊接缺陷实验数据集，包括4个类，240个样本，个被搜索的食物源中被选中食物源的数量m，m个32个特征值，将其随机分为两部分，一部分160个样食物源中最好食物源的数量e，为最好e个食物源招本作为训练样本集，另一部分80个样本作为测试样募的蜜蜂数量nep，为其它m—e个食物源招募的蜜本集。其中，特征子集是从32个特征值中选取的，蜂数量nsp，食物源近邻搜索半径ngh和算法的终止(1：2：32)表示从第1个特征开始间隔取值共16个条件。蜜蜂算法的伪代码如下：特征，而(1：3：32)表示从第1个特征开始间隔2个(1)初始化种群的随机解；取值共11个特征，其它特征子集类似。(2)评价种群的适应度；表1C和在不同值及特征子集下的分类结果(3)当停止准则不满足时，产生新的种群；C分类正确19"分类正确特征分类正确(4)为近邻搜索选择食物源；(=0．5)率(％)(C=l0)率(％)子集率(％)(5)招募蜜蜂到选择的食物源(为最好的e个食O．125O．1451：2：3285物源招募更多的蜜蜂)并评价其适应度；191．25O．5952：2：3295(6)从每个花丛中选择适应度最高的蜜蜂；1095l86．251：3：3287．5O(7)派遣其余的搜索蜂进行随机搜索并评价其lO095563．752：3：3282．5O适应度；lO095l033．751：293．75(8)结束循环。该算法开始于在一个搜索区域被随机放置的n从表1可以看出，惩罚因子C和核函数宽度个侦察蜂，并由第2步计算其适应度，之后进行蜜蜂取不同值时，对SVM分类器的分类正确率影响很大。群搜索最优解的迭代过程。其中，适应度用于决定其中c用于控制SVM模型的复杂度和对错分样本蜜蜂被选中的概率。在这个过程中，先选取一些较的惩罚程度，如果C太大，SVM在训练阶段的分类精好的解，即食物源位置，然后在这些较好解中选取最度很高，在测试阶段则很低；如果c太小，难以获得好解，并分别对这些最好解招募更多的蜜蜂对其近满意的分类精度。参数反映了数据样本在高维特邻域进行更加细致的搜索，有更大的可能性得到更征空间中分布的复杂程度，决定了线性分类面的复好的解，这种有分别的派遣是蜜蜂算法的一个关键杂度，它对SVM分类精度的影响比惩罚因子C要操作。每次迭代后最好的m个解被保留进入下一次大，取值过大会引起“过学习”问题，过小会产生迭代。在第6步，对每一个近邻搜索的食物源只能“欠学习”问题。另外，选取不同的特征子集对分类选择一个具有最高适应度的蜜蜂形成新的蜂群。第结果也有较大的影响。因此，在SVM训练过程中，搜7步，派遣n—m个剩余的侦察蜂随机搜索新的食物索惩罚因子C和核函数参数的最优值并选取最佳源。重复以上步骤，直到满足算法的停止条件。每的特征子集以获取最好的分类结果，就显得十分重要。一次迭代结束，新的蜂群由两个部分构成：在每个被2蜜蜂算法原理选中食物源采蜜的蜜蜂和被派往其它食物源进行随蜜蜂算法是受自然界中蜜蜂的觅食行为启发而机搜索的侦察蜂。 2013年11月陈渊，等：基于蜜蜂算法的支持向量机特征选择和参数优化·43·方法的有效性，分别采用UCI机器学习公用数据库3特征选择和参数优化中的3个标准数据集及文献[4]中的焊接缺陷数据本文利用蜜蜂算法对SVM模型参数进行优化，集进行训练和测试，如表3所示。采用MATLAB并同时选择最佳的特征子集，以获得性能最优的R2007a编程，进行了不同数据集的分类测试，在基于SVM分类器。针对采用RBF作为核函数的SVM，需BA的SVM的分类方法中，惩罚因子C和核函数宽要优化两个参数，即惩罚因子C和宽度参数，另外度的搜索范围分别为[1，100]和[0．1，10]，BA还要进行特征选择，对于一个特征数量为k的数据控制参数的取值如表4所示。表5给出了常规集，则总共有2+k个变量需要优化，这里k个变量的SVM、基于BA参数优化的SVM(SVM—PO)和基于取值范围为[0，1]。如果一个变量的值小于或等于BA特征选择和参数优化的SVM(SVM—FS+PO)三0．5，则它对应的特征不被选中；反之，如果一个变量种方法的分类测试结果。的值大于0．5，则它对应的特征就被选中。图1给表3UCI和焊接缺陷数据集说明出了BA优化得到的一个解的表示。数据集类别数量特征数量训练样本数量测试样本数量表2BA优化得到的解的表示3l38989序号l23k+2347575解C1glass691061O5由于优化SVM参数和进行特征选择的主要目的焊接缺陷数据集432l6O80在于获得更高的分类正确率，因此采用SVM分类器表4BA参数取值的分类正确率作为BA的适应度函数。图1给出了侦察蜂的数量n30基于BA的SVM参数优化和特征选择算法的流程，食物源的数量m20具体步骤如下：最好食物源的数量e2(1)设置SVM模型参数的搜索范围和日的控最好食物源采蜜蜂的数量n印30制参数；其它食物源采蜜蜂的数量n15(2)随机初始化SVM参数和特征子集构成搜索惩罚因子近邻搜索半径ngh—Cl空间的侦察蜂，每一对参数(C，)和每一个特征子宽度参数近邻搜索半径一0．1集代表一个蜜蜂；算法的迭代次数l0(3)对第(2)步所形成的蜜蜂群构建SVM分类表5三种方法的分类正确率(％)器并进行训练，计算每个侦察蜂的适应度；数据集常规SVMSVM—POSVM—FS+P0(4)招募蜜蜂到被选中的m食物源进行近邻搜98．876498．8764lOO索(最好的e个食物源招募更多的蜜蜂)，计算其适97．333398．666798．6667应度并更新SVM模型参数和特征子集；glass65．7l437O．476277．1429(5)派遣剩余的(n—m)个侦察蜂随机搜索新的焊接缺陷数据集9596．2597．50食物源，计算其适应度并更新SVM模型参数和特征从表5可以看出，除wine数据集常规SVM和子集；SVM．PO分类器获得了相同的分类正确率外，BA优(6)重复第(4)、(5)步直至达到最大迭代次数，化的SVM分类器都获得了更高的分类正确率，而且并返回当前最优的SVM模型参数C、和最佳的特有特征选择时的分类正确率高于没有特征选择时的征子集。分类正确率。另外，当数据集的类别数目较大时，和常规SVM相比，本文方法的优势更明显，分类性能更优。实验结果表明，在利用SVM进行分类时特征选择和参数优化的重要性，也验证了基于BA的SVM特征选择和参数优化算法的有效性，将其应用于焊接缺陷的分类，分类正确率高，可靠性好。5结论为了提高工业超声检测中SVM的分类正确率，提出了利用蜜蜂算法自动搜索SVM模型的最优参数，同时选择最佳特征子集，并将其应用于焊接缺陷的分类。UCI标准数据集和焊接缺陷数据集的分类图1基于BA的SVM特征选择和参数优化过程实验结果证明，本文方法可有效选出最佳的特征子4实验结果集和最优的SVM参数，从而获得了比常规SVM分类器更高的分类正确率；并且当数据集(下转第54页)为了验证基于BA的SVM特征选择和参数优化 ·54·组合机床与自动化加工技术第11期本文的原型系统随着改变的VMD组件数目的变化增加新的Web服务，系统功能易于扩展。重构时间的变化曲线。两个控制系统在相同的硬件机器人制造单元控制系统的可重构运行验证了环境下控制同一个仿真机器人制造单元进行仿真实设计方法的可行性，但是在实际生产车间中会遇到验，进行客观的定量对比得到图l0(重构时间为重构不支持MMS协议的设备。如何将不支持MMS协议开始到重构完成的时间间隔；改变的VMD组件数目的设备快速集成到系统中，是接下来研究的重点。为移除的VMD组件数目和增加的VMD组件数目之[参考文献]和)。通过对比发现本文的原型系统重构时间很短。[1]YoramKoren，MosheShpitalni．Designofreconfigurablemanufacturingsystems[J]．JournalofManufacturingSys—这是因为它能通过UDDI运行机制自动查找、发现和tems，2010，29(4)：130—141．调用VMD组件Web服务，不需要其他编程和手工配[2]齐继阳，竺长安，曾议．可重构制造系统及其关键技术置，从而验证了开发的机器人制造单元控制系统具[J]．组合机床与自动化加工技术，2005(6)：31—35．有动态重构能力。[3]ManfrediBruccoleri．Reconfigurablecontrolofrobotizedmanufacturingcells[J]．RoboticsaudComputer—IntegratedManufacturing，2007，23(1)：94—106．垦[4]Dhurbajyoti，K．，Pramod，etalFormalverificationforanaly—sisanddesignofreconfigurablecontrollersformanufacturingsystems[C]．ProceedingsoftheAmericanControlConfer—ence2000：2533—2539．[5]张友良，徐骏善，汪惠芬．可重构制造单元控制系统设计[J]．机械设计与制造J：程，2001，30(6)：11—13．[6]余传猛，周炳海，奚立峰．基于DCOM—MMS的可重配置机器人控制[J]．计算机集成制造系统，2005，1l(3)：422—427．图l0不同开发平台下控制系统重构时l司对比[7]李绍成，朱典想，陈富林．基于OPC的可重构制造单元控4结束语制系统设计[J]．制造业自动化，2011，33(9)：98—100．[8]AzeVedo，Sousa．Acomponent—basedapproachtosupport本文提出了VMD组件模型和基于WebServicesorderplanninginadistributedmanufacturingenterprise和MMS制造设备通信模型，构建了可重构机器人制[J]．JournalofMaterialsProcessingTechnology，2000，107造单元混合控制体系结构和基于Web服务的软件体(13)：431—438．系结构。原型系统开发到实际运行，验证了以Web[9]王涛．基于MMS与分布式对象技术的制造自动化通讯系统设计[J]．制造业自动化，2012，34(8)：1l5—117．服务和MMS为基础的机器人制造单元控制系统动[10]吴斌，余建波，奚立峰，等．智能重构制造控制系统集成态可重构性，其特点如下：框架[J]．计算机集成制造系统，2008，14(1)：73—78．(1)采用WebServices和MMS制造设备通信模[11]丁青锋，杨丰萍．采用ASN．1规则的MMSPDU编码系型，使不同类型通信接口的制造资源设备能够快速统研究[J]．城市轨道交通研究，2010，13(10)：57—59．连接到制造单元中。[12]周炳海，王世进，王国龙，等．基于CORBA—MMS的制(2)采用UDDI运行机制使机器人制造单元控造自动化通讯系统设计[J]．计算机集成制造系统，制系统具有动态重构能力。可以向系统中更新或者2005，1l(1)：17—21．(编辑李秀敏)(上接第43页)的类别数目较大时，该方法的优势更classClassifierbasedon—SVMlJj．AdvancedMaterialsResearch，2012，490—495：3215—3220．为明显。另外，本文利用蜜蜂算法对采用RBF核函数的SVM进行优化，对于其它核函数的SVM模型同[5]车红昆，吕福在，项占琴．多特征SVM—DS融合决策的缺陷识别[J]．机械工程学报，2010，46(16)：101—105．样适用；而且该方法也可以应用于故障诊断和其它[6]D．T．Pham，A．Ghanbarzadeh，E．Ko，eta1．TheBeesA1一模式识别领域。g0rithm—ANovelToolforComplexOptimisationProblems[参考文献][C]．ProceedingsofIPROMS2006Conference，454—461．[1]Matz，Vaclav，eta1．ClassificationofUltrasonicSignals[7]D．T．Pham，ZMuhamad，MMahmuddin，eta1．Usingthe『J]．InternationalJournalofMaterialsandProductTech—BeesAlgorithmtoOptimiseaSupportVectorMachinefornology，2006，27：145—155．WoodDefectClassification[C]．IPROMS2007Innovative[2]ZhaoXiufen，He，MingGe，Yin，GuoFu．Anewflawi—ProductionMachinesandSystemsVirtualConference，Car—dentificationmodelofultrasonicsignalsbasedonEMDanddif，UK．possibilitySVM[J]．AdvancedMaterialsResearch，2011，[8]LinShihWet，YingKuoChing，ChenShihChieh，eta1．189—193：2764—2769．Particleswarmoptimizationforparameterdeterminationand[3]戴波，赵晶，周炎．基于支持向量机的管道腐蚀超声波内featureselectionofsupportvectormachines[J]．Expert检测[J]．化工学报，2008，59(7)：1812—1817．『41ChenYuan．MaHongwei．AutomaticClassificationofWeld—SystemswithApplications，2008(35)：1817—1824．ingFlawsinUltrasonicTestingUsingtheLayerMulti一(编辑李秀敏)