???????????????????????????
其中，i>+b=0為所要求解的超平面，w是超平面的法向量，b是超平面的偏移量，C是懲罰因子，(w,x_i)表示w和x_i的點(diǎn)集，為了較準(zhǔn)確地將兩類(lèi)數(shù)據(jù)分開(kāi)，使用映射Φ：X→H將x從輸入空間X映射到一高維的特征空間H。為便于計(jì)算，選擇一個(gè)核函數(shù)k(x_i,x_j)=<Φ(x_i),Φ(x_j)>用于特征空間中點(diǎn)積的運(yùn)算。其Lagrange表達(dá)式為：　

　　這是由Vapnik提出的第一種支持向量機(jī)，也被稱為C-SVM或標(biāo)準(zhǔn)支持向量機(jī)。
2 代價(jià)敏感支持向量機(jī)
　　考慮兩類(lèi)的分類(lèi)問(wèn)題，類(lèi)別分別為C⁺和C^-，假定C+的錯(cuò)分代價(jià)大于C^-的錯(cuò)分代價(jià)。為了解決分類(lèi)中的代價(jià)不對(duì)稱問(wèn)題，將分類(lèi)算法SVM進(jìn)行改造，基本思想就是對(duì)C+錯(cuò)分、C^-錯(cuò)分兩種錯(cuò)誤分別引入不同的代價(jià)函數(shù)。這種方法等價(jià)于對(duì)誤分代價(jià)高的類(lèi)使用更大的拉格朗日算子α_i，從而使分類(lèi)平面遠(yuǎn)離C⁺，而靠近C^-，使得未知數(shù)據(jù)被劃分為C+的概率更大，從而減小了分類(lèi)中因錯(cuò)分引起的損失。
　　在支持向量機(jī)(SVM)中，原始問(wèn)題為：
　　

　　在訓(xùn)練過(guò)程中使用C⁺>C^-，得到的分類(lèi)器的決策平面靠近類(lèi)別C^-，使測(cè)試樣本更多地落在C⁺的區(qū)域中，從而減小C⁺類(lèi)的樣本錯(cuò)分的可能性，但也加大了C^-類(lèi)樣本被錯(cuò)分的可能性。因此需尋找合適的參數(shù)，使得兩類(lèi)樣本的分類(lèi)結(jié)果都盡可能地達(dá)到最優(yōu)。設(shè)兩類(lèi)樣本的約束值的比值為：
　　s=C⁺/C^-
　　s值通常使用窮舉的方法來(lái)確定，先固定C^-的值為C，搜索最佳參數(shù)C⁺的值，使得分類(lèi)的錯(cuò)誤代價(jià)最小。
　　代價(jià)敏感支持向量機(jī)的主要思想就是通過(guò)改變兩類(lèi)的懲罰因子C⁺和C^-的比值，使得分類(lèi)面向遠(yuǎn)離錯(cuò)分代價(jià)高的一類(lèi)的方向移動(dòng)，從而使得樣本更大可能地被分為這一類(lèi)，降低分類(lèi)錯(cuò)誤代價(jià)，但提高某一類(lèi)樣本的分類(lèi)正確率總是以犧牲另一類(lèi)的分類(lèi)正確率為代價(jià)的。
3 屬性的權(quán)值
　　樣本屬性重要性的度量是屬性相關(guān)分析的主要內(nèi)容，在模糊集和粗糙集理論方面有許多的研究。這里介紹常用的基于信息熵的屬性權(quán)值的計(jì)算方法[6]。
　　設(shè)有數(shù)據(jù)樣本集合S，該樣本集有m個(gè)不同的屬性值和n個(gè)不同的類(lèi)別,分別定義為A_i(i=1,…,m)和C_j(j=1,…,n)，s_i為C_i中的樣本數(shù)。根據(jù)概率分布和聯(lián)合概率分布以及信息論中熵和條件熵的定義，對(duì)于一個(gè)給定的樣本分類(lèi)問(wèn)題所需的期望信息由下式給出：
　　
　　式中 p_i是樣本屬于C_j的概率，其中 p_i=s_i/s。
　　設(shè)屬性A有v個(gè)不同值{a₁,a₂,…,a_v},屬性A可將樣本集S劃分為v個(gè)子集{s₁,s₂,…,s_v},其中S_j為在屬性A上具有值a_i，設(shè)s_ij為子集S_j中類(lèi)C_i的樣本數(shù)。根據(jù)A的這種劃分的期望信息為：
　　　　

　　式中p_ij=s_ij/|s_j|,|s_j|是s_j中樣本屬于類(lèi)C_i的概率。
　　在屬性A上該劃分獲得的信息增益為：
　　δ=H(C)-E(A)
　　根據(jù)上面的計(jì)算得到每個(gè)屬性的權(quán)重系數(shù)為：
　　
　　從分析中知道，該權(quán)重系數(shù)反應(yīng)了樣本中各個(gè)屬性的重要程度，權(quán)重系數(shù)值越大則該屬性越重要，對(duì)分類(lèi)的貢獻(xiàn)越大。
在確定了樣本屬性重要度后，就可以構(gòu)造基于樣本屬性重要度的代價(jià)敏感支持向量機(jī)。
4 實(shí)驗(yàn)結(jié)果
　　本文利用MATLAB軟件進(jìn)行模擬實(shí)驗(yàn)，對(duì)＋1類(lèi)和－1類(lèi)的分類(lèi)性能進(jìn)行比較，在三維空間中引入兩類(lèi)不同的樣本：正類(lèi)和負(fù)類(lèi)，并引入了一定數(shù)量的噪聲和野值數(shù)據(jù)。為了驗(yàn)證所提算法的有效性，利用所提算法進(jìn)行了一系列比較實(shí)驗(yàn)。在實(shí)驗(yàn)中，模擬用的訓(xùn)練樣本和測(cè)試樣本均隨機(jī)產(chǎn)生，樣本數(shù)據(jù)情況如表1所示。

　　在實(shí)驗(yàn)中考慮正類(lèi)的錯(cuò)分代價(jià)大于負(fù)類(lèi)的錯(cuò)分代價(jià)，分別用C-SVM、Cost-sensitive SVM和屬性加權(quán)的Cost-sensitive SVM進(jìn)行性能測(cè)試，表2所示為分類(lèi)準(zhǔn)確率的比較。由表2可見(jiàn)代價(jià)敏感支持向量機(jī)分類(lèi)算法提高了錯(cuò)分代價(jià)高的類(lèi)別的分類(lèi)精度，在進(jìn)行屬性加權(quán)后，總體的分類(lèi)精度也得到了提高。