（轉(zhuǎn)載請(qǐng)注明出處： http://blog.csdn.net/zhazhiqiang/ ?未經(jīng)允許請(qǐng)勿用于商業(yè)用途）
<5-1> 徑向基(RBF)核函數(shù)(高斯核函數(shù))?的說明常用的核函數(shù)有以下4種：⑴ 線性核函數(shù)?
⑵ 多項(xiàng)式核函數(shù)
⑶ 徑向基(RBF)核函數(shù)(高斯核函數(shù))?
⑷ Sigmoid 核函數(shù)(二層神經(jīng)網(wǎng)絡(luò)核函數(shù))
? ? 這個(gè)核函數(shù)可以將原始空間映射到無窮維空間。對(duì)于參數(shù) σ ，如果選的很大， 高次特征上的權(quán)重實(shí)際上衰減得非常快，所以實(shí)際上（數(shù)值上近似一下）相當(dāng)于一個(gè)低維的子空間；反過來，如果 選得很小，則可以將任意的數(shù)據(jù)映射為線性可分——當(dāng)然，這并不一定是好事，因?yàn)殡S之而來的可能是非常嚴(yán)重的過擬合問題。不過，總的來說，通過調(diào)控參數(shù) ，高斯核實(shí)際上具有相當(dāng)高的靈活性，也是 使用最廣泛的核函數(shù) 之一。
? ? 徑向基（ RBF ）核函數(shù)主要確定 懲罰因子 C 和 參數(shù)σ 。其中 C 控制著使間隔 margin 最大且錯(cuò)誤率最小的折中，就是在確定的特征空間中調(diào)節(jié)學(xué)習(xí)機(jī)器的置信范圍和經(jīng)驗(yàn)風(fēng)險(xiǎn)的比例；而σ 2 是 RBF 核函數(shù)參數(shù)，主要影響樣本數(shù)據(jù)在高維特征空間中分布的復(fù)雜程度。因此分類器的好壞取決于參數(shù) C 、σ的確定。參數(shù)選擇的好壞直接影響到分類器性能的好壞，但這方面目前缺乏理論指導(dǎo)，沒有合適的方法，傳統(tǒng)的參數(shù)選取都是通過反復(fù)的試驗(yàn)，人工選取令人滿意的解。這種方法需要人的經(jīng)驗(yàn)指導(dǎo)，并且需要付出較高的時(shí)間代價(jià)。常用的參數(shù)選擇方法有：
I、網(wǎng)格法【OpenCV中SVM用到】
? ? 選取
U
個(gè)
C
和
V
個(gè)σ
2
，就會(huì)有
的組合狀態(tài)，每種組合狀態(tài)對(duì)應(yīng)一種
SVM
分類器，通過測(cè)試對(duì)比，找出推廣識(shí)別率最高的
C
和σ
2
組合。一般取
U=V=15
，
C
取值分別為
，
取值分別為
共
255
個(gè)
C
、σ
2
組合。網(wǎng)格法實(shí)質(zhì)上是一種窮舉法，隨著排列組合的可能情況越多，其運(yùn)算量將急劇增加。
II、雙線性法
利用
RBF
核
SVM
的性能，首先對(duì)線性
SVM
求解最佳參數(shù)，使之為參數(shù)的線性
SVM
推廣識(shí)別率最高，稱為
；然后固定
，對(duì)滿足
? ? ? ??
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
的
，訓(xùn)練
SVM
，根據(jù)對(duì)其推廣識(shí)別率的估算，得到最優(yōu)參數(shù)。雖然這種方法對(duì)σ
2
有非常明確的公式，但首先要求解
C
，而很難確定最優(yōu)的
C
。
III、梯度下降搜索法
設(shè)泛化誤差為
? ? ? ??
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??
核函數(shù)為
，
是待定的核參數(shù)，基本過程為：
a? 將θ置一個(gè)初始值
b? 用一個(gè)標(biāo)準(zhǔn)的 SVM 解法（如 SMO ），求出 SVM 的解—— Lagrange 乘子
c?
? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?
d? 跳轉(zhuǎn)到 b 直至 T 最小
? ? 其中
是足夠小且最終收斂到零的數(shù)列。步驟
c
是一個(gè)標(biāo)準(zhǔn)的梯度下降算法。由分類函數(shù)公式可以求解
，
的求解較麻煩，需要通過求解一個(gè)二次規(guī)劃問題得到。
IV、遺傳算法
基本步驟為：
?????? a t=0
?????? b? 隨機(jī)選擇初始種群 P(t)
?????? c? 計(jì)算個(gè)體適應(yīng)度函數(shù)值 F(t)
?????? d? 若種群中最優(yōu)個(gè)體所對(duì)應(yīng)的適應(yīng)度函數(shù)值足夠大或者算法已經(jīng)連續(xù)運(yùn)行多代，且個(gè)體的最佳適應(yīng)度無明顯改進(jìn)則轉(zhuǎn)到第 h 步
?????? e t=t+1
?????? f? 應(yīng)用選擇算子法從 P(t-1) 中選擇 P(t)
?????? g? 對(duì) P(t) 進(jìn)行交叉、變異操作，轉(zhuǎn)到第 c 步
?????? h? 給出最佳的核函數(shù)參合和懲罰因子 C ，并用其訓(xùn)練數(shù)據(jù)集以獲得全局最優(yōu)分類面。
??????? 遺傳算法的缺點(diǎn)是收斂很慢，容易受局部極小值干擾。
<5-3>驗(yàn)證核函數(shù)性能的方法(3種)(衡量泛化能力)
I、單一驗(yàn)證估計(jì)
? ? 將大數(shù)量的樣本分為兩部分：訓(xùn)練樣本和測(cè)試樣本，此時(shí)測(cè)試集的錯(cuò)誤率為：
? ??
式中，
p
為樣本數(shù)，
為樣本實(shí)際所屬的類別，
為對(duì)訓(xùn)練樣本預(yù)測(cè)出的類別。這種方法直觀簡(jiǎn)單。可以通過理論證明，當(dāng)樣本數(shù)量趨近于無窮大時(shí)，該估計(jì)為無偏估計(jì)，但現(xiàn)實(shí)中處理的總是數(shù)量有限的樣本問題，所以此方法的應(yīng)用范圍在一定程度上受到了限制。
II、K 折交叉驗(yàn)證 【OpenCV中SVM用到】
? ? K
折交叉驗(yàn)證是一種迭代方式，一共迭代
K
次，每次將所有訓(xùn)練樣本分為
K
份相等的子集樣本，訓(xùn)練樣本是選擇其中
K-1
份樣本，測(cè)試樣本是剩余的一個(gè)樣本。通過
K
次迭代后，可以利用平均值來評(píng)估期望泛化誤差，根據(jù)期望泛化誤差選擇一組性能最佳的參數(shù)。
K
折交叉驗(yàn)證由
K
折交叉驗(yàn)證誤差決定，
K
折交叉驗(yàn)證誤差是算法錯(cuò)誤率的估計(jì)，其計(jì)算方式為：假設(shè)
為錯(cuò)分類的樣本個(gè)數(shù)，經(jīng)過
K
次迭代后，得到
，那么算法的錯(cuò)誤率可以近似為錯(cuò)誤分類數(shù)
和總樣本點(diǎn)數(shù)
之比
。該方法具有操作簡(jiǎn)單的優(yōu)點(diǎn)，成為
目前應(yīng)用最廣泛
的方法，但是這種方法容易受樣本劃分方式的影響。
III、留一法
???? 留一法是 K 折交叉驗(yàn)證的特例，其基本思想是當(dāng)可用樣本數(shù)為 N 時(shí)，訓(xùn)練集由其中 N-1 個(gè)樣本構(gòu)成，測(cè)試樣本為剩余的一個(gè)樣本，經(jīng) N 次重復(fù)，使所有的樣本都參加過測(cè)試。通過理論證明，這種估計(jì)是無偏估計(jì)。因此，從實(shí)現(xiàn)原理來說，留一法的效果是最佳的；但是，在參數(shù)固定的情況下，確定其錯(cuò)誤率對(duì)樣本要訓(xùn)練 N-1 次，運(yùn)算量很大。為了解決留一法計(jì)算量大的缺陷，目前該方法確定核函數(shù)及其參數(shù)的常用方法是估計(jì)經(jīng)驗(yàn)風(fēng)險(xiǎn)的上界，只要上界小，分類器的推廣能力就強(qiáng)。
?
C++:?CvSVMParams:: CvSVMParams ()
C++:?CvSVMParams:: CvSVMParams (int? svm_type ,?
int? kernel_type ,?
double? degree ,?
double? gamma ,?
double? coef0 ,?
double? Cvalue ,?
double? nu , ? ? ? ? ? ? ? ? ??
double? p ,?
CvMat*? class_weights ,
CvTermCriteria? term_crit
)
(3)注釋
CvSVMParams
::
CvSVMParams()
:
svm_type(CvSVM
::
C_SVC), kernel_type(CvSVM
::
RBF), degree(
0
),
gamma(
1
), coef0(
0
), C(
1
), nu(
0
), p(
0
), class_weights(
0
)
{
term_crit
=
cvTermCriteria( CV_TERMCRIT_ITER
+
CV_TERMCRIT_EPS,
1000
, FLT_EPSILON );
}
- CvSVM::C_SVC :? C類支持向量分類機(jī)。?n類分組??(n≥2)，允許用異常值懲罰因子C進(jìn)行不完全分類。
-
CvSVM::NU_SVC :?
類支持向量分類機(jī)。n類似然不完全分類的分類器。參數(shù)為
取代C（其值在區(qū)間【0，1】中，nu越大，決策邊界越平滑）。
- CvSVM::ONE_CLASS :? 單分類器，所有的訓(xùn)練數(shù)據(jù)提取自同一個(gè)類里，然后SVM建立了一個(gè)分界線以分割該類在特征空間中所占區(qū)域和其它類在特征空間中所占區(qū)域。
-
CvSVM::EPS_SVR :?
類支持向量回歸機(jī)。訓(xùn)練集中的特征向量和擬合出來的超平面的距離需要小于p。異常值懲罰因子C被采用。
-
CvSVM::NU_SVR :?
類支持向量回歸機(jī)。?
代替了?p。?
<2> kernel_type: SVM的內(nèi)核類型(4種)：
- CvSVM::LINEAR :? 線性內(nèi)核，沒有任何向映射至高維空間，線性區(qū)分（或回歸）在原始特征空間中被完成，這是最快的選擇。
.
- CvSVM::POLY :? 多項(xiàng)式內(nèi)核：
.
- CvSVM::RBF :? 基于徑向的函數(shù)，對(duì)于大多數(shù)情況都是一個(gè)較好的選擇：
.
- CvSVM::SIGMOID :? Sigmoid函數(shù)內(nèi)核：
.
。
。
。
。所以這些權(quán)重影響不同類別的錯(cuò)誤分類懲罰項(xiàng)。權(quán)重越大，某一類別的誤分類數(shù)據(jù)的懲罰項(xiàng)就越大。
C++:?CvSVM:: CvSVM ()
C++:?CvSVM:: CvSVM (const Mat&? trainData ,?
const Mat&? responses ,?
const Mat&? varIdx=Mat() ,?
const Mat&? sampleIdx=Mat() ,?
CvSVMParams? params=CvSVMParams()
)
C++:?CvSVM:: CvSVM (const CvMat*? trainData ,?
const CvMat*? responses ,?
const CvMat*? varIdx=0 ,
const CvMat*? sampleIdx=0 ,?
CvSVMParams? params=CvSVMParams()
?)
- trainData : ?訓(xùn)練數(shù)據(jù)，必須是CV_32FC1?（32位浮點(diǎn)類型，單通道）。數(shù)據(jù)必須是CV_ROW_SAMPLE的，即特征向量以行來存儲(chǔ)。
- responses : ?響應(yīng)數(shù)據(jù)，通常是1D向量存儲(chǔ)在CV_32SC1?（僅僅用在分類問題上）或者CV_32FC1格式。
- varIdx : ?指定感興趣的特征。可以是整數(shù)(32sC1)向量，例如以0為開始的索引，或者8位(8uC1)的使用的特征或者樣本的掩碼。用戶也可以傳入NULL指針，用來表示訓(xùn)練中使用所有變量／樣本。
- sampleIdx : ?指定感興趣的樣本。描述同上。
- params : ?SVM參數(shù)。
C++:?bool?CvSVM:: train (const Mat&? trainData ,?
const Mat&? responses ,?
const Mat&? varIdx=Mat() ,?
const Mat&? sampleIdx=Mat() ,?
CvSVMParams? params=CvSVMParams()
?)
C++:?bool?CvSVM:: train (const CvMat*? trainData ,?
const CvMat*? responses ,?
const CvMat*? varIdx=0 ,?
const CvMat*? sampleIdx=0 ,?
CvSVMParams? params=CvSVMParams()?
)
C++:?bool?CvSVM:: train_auto (const Mat & ? trainData ,
const Mat & ? responses ,?
const Mat & ? varIdx ,?
const Mat & ? sampleIdx ,?
CvSVMParams? params ,
int? k_fold=10 ,?
CvParamGrid? Cgrid=CvSVM::get_default_grid(CvSVM::C) ,?
CvParamGrid? gammaGrid=CvSVM::get_default_grid(CvSVM::GAMMA) ,?
CvParamGrid? pGrid=CvSVM::get_default_grid(CvSVM::P) ,?
CvParamGrid? nuGrid=CvSVM::get_default_grid(CvSVM::NU) ,?
CvParamGrid? coeffGrid=CvSVM::get_default_grid(CvSVM::COEF) ,?
CvParamGrid? degreeGrid=CvSVM::get_default_grid(CvSVM::DEGREE) ,?
bool? balanced=false
)
C++:?bool?CvSVM:: train_auto (const CvMat * ? trainData ,
const CvMat * ? responses ,?
const CvMat * ? varIdx ,?
const CvMat * ? sampleIdx ,?
CvSVMParams? params ,?
int? kfold=10 ,?
CvParamGrid? Cgrid=get_default_grid(CvSVM::C) ,
CvParamGrid? gammaGrid=get_default_grid(CvSVM::GAMMA) ,?
CvParamGrid? pGrid=get_default_grid(CvSVM::P) ,
CvParamGrid? nuGrid=get_default_grid(CvSVM::NU) ,?
CvParamGrid? coeffGrid=get_default_grid(CvSVM::COEF) ,
CvParamGrid? degreeGrid=get_default_grid(CvSVM::DEGREE) ,?
bool? balanced=false
)
- 前5個(gè)參數(shù)參考 構(gòu)造函數(shù)的參數(shù)注釋。
- k_fold:? 交叉驗(yàn)證參數(shù)。訓(xùn)練集被分成k_fold的自子集。其中一個(gè)子集是用來測(cè)試模型，其他子集則成為訓(xùn)練集。所以，SVM算法復(fù)雜度是執(zhí)行k_fold的次數(shù)。
- *Grid:? (6個(gè)) 對(duì)應(yīng)的SVM迭代網(wǎng)格參數(shù)。
- balanced:? 如果是true則這是一個(gè)2類分類問題。這將會(huì)創(chuàng)建更多的平衡交叉驗(yàn)證子集。
- 這個(gè)方法根據(jù)CvSVMParams中的最佳參數(shù)C,?gamma,?p,?nu,?coef0,?degree自動(dòng)訓(xùn)練SVM模型。
- 參數(shù)被認(rèn)為是最佳的交叉驗(yàn)證，其測(cè)試集預(yù)估錯(cuò)誤最小。
- 如果沒有需要優(yōu)化的參數(shù)，相應(yīng)的網(wǎng)格步驟應(yīng)該被設(shè)置為小于或等于1的值。例如，為了避免gamma的優(yōu)化，設(shè)置gamma_grid.step?=?0，gamma_grid.min_val，?gamma_grid.max_val?為任意數(shù)值。所以params.gamma?由gamma得出。
- 最后，如果參數(shù)優(yōu)化是必需的，但是相應(yīng)的網(wǎng)格卻不確定，你可能需要調(diào)用函數(shù)CvSVM::get_default_grid()，創(chuàng)建一個(gè)網(wǎng)格。例如，對(duì)于gamma，調(diào)用CvSVM::get_default_grid(CvSVM::GAMMA)。
- 該函數(shù)為分類運(yùn)行 (params.svm_type=CvSVM::C_SVC?或者?params.svm_type=CvSVM::NU_SVC) 和為回歸運(yùn)行 (params.svm_type=CvSVM::EPS_SVR?或者?params.svm_type=CvSVM::NU_SVR)效果一樣好。如果params.svm_type=CvSVM::ONE_CLASS，沒有優(yōu)化，并指定執(zhí)行一般的SVM。
C++:? float? CvSVM:: predict (const Mat&? sample , bool? returnDFVal =false ?)?const
C++:? float? CvSVM:: predict (const CvMat*? sample , bool? returnDFVal =false ?)?const
C++:? float? CvSVM:: predict (const CvMat*? samples , CvMat*? results )?const
<3>預(yù)測(cè)函數(shù)的參數(shù)注釋
- sample:? 需要預(yù)測(cè)的輸入樣本。
- samples:? 需要預(yù)測(cè)的輸入樣本們。
- returnDFVal:? 指定返回值類型。如果值是true，則是一個(gè)2類分類問題，該方法返回的決策函數(shù)值是邊緣的符號(hào)距離。
- results:? 相應(yīng)的樣本輸出預(yù)測(cè)的響應(yīng)。
- 這個(gè)函數(shù)用來預(yù)測(cè)一個(gè)新樣本的響應(yīng)數(shù)據(jù)(response)。
- 在分類問題中，這個(gè)函數(shù)返回類別編號(hào)；在回歸問題中，返回函數(shù)值。
- 輸入的樣本必須與傳給trainData的訓(xùn)練樣本同樣大小。
- 如果訓(xùn)練中使用了varIdx參數(shù)，一定記住在predict函數(shù)中使用跟訓(xùn)練特征一致的特征。
- 后綴const是說預(yù)測(cè)不會(huì)影響模型的內(nèi)部狀態(tài)，所以這個(gè)函數(shù)可以很安全地從不同的線程調(diào)用。
- param_id:? SVM參數(shù)的IDs必須是下列中的一個(gè)：(網(wǎng)格參數(shù)將根據(jù)這個(gè)ID生成?)
- CvSVM::C
- CvSVM::GAMMA
- CvSVM::P
- CvSVM::NU
- CvSVM::COEF
- CvSVM::DEGREE
C++:? int? CvSVM:: get_support_vector_count ()?const ?//獲取支持向量的數(shù)量
C++:?const? float* ?CvSVM:: get_support_vector (int? i )?const ? ?//獲取支持向量
? ? ? ? 參數(shù)： i ?– 指定支持向量的索引。
?
(8)獲取所用特征的數(shù)量的函數(shù)
<1>作用 ：獲取所用特征的數(shù)量
<2>函數(shù)原型：
- C比較大時(shí)：分類錯(cuò)誤率較小，但是間隔也較小。 在這種情形下， 錯(cuò)分類對(duì)模型函數(shù)產(chǎn)生較大的影響，既然優(yōu)化的目的是為了最小化這個(gè)模型函數(shù)，那么錯(cuò)分類的情形必然會(huì)受到抑制。
- C比較小時(shí)：間隔較大，但是分類錯(cuò)誤率也較大。 在這種情形下，模型函數(shù)中錯(cuò)分類之和這一項(xiàng)對(duì)優(yōu)化過程的影響變小，優(yōu)化過程將更加關(guān)注于尋找到一個(gè)能產(chǎn)生較大間隔的超平面。
四、SVM處理流程總結(jié)：
? ?? a. ?訓(xùn)練的目的得到參數(shù)和支持向量（存儲(chǔ)在xml文件中），得到參數(shù)就能得到支持向量，帶進(jìn)算式計(jì)算SVM分類的準(zhǔn)確度，以準(zhǔn)確度最高的一組參數(shù)作為最終的結(jié)果，沒有絕對(duì)線性可分的，都有一個(gè)誤差，參數(shù)就是把那個(gè)誤差降到最低。
? ?? b.? 這里的準(zhǔn)確性是指將訓(xùn)練集的每個(gè)樣本的向量與支持向量做運(yùn)算，將運(yùn)算結(jié)果與標(biāo)記值比較,判斷是否屬于這個(gè)類，統(tǒng)計(jì)這個(gè)類的正確的樣本數(shù)，最高的那一組參數(shù)準(zhǔn)確性最高。
? ?? c.? 最終訓(xùn)練得到分類器。SVM只能分兩類，所以這里的分類器是兩個(gè)類組成一個(gè)分類器，如果有K類，就有k(k-1)/2個(gè)分類器。
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號(hào)聯(lián)系： 360901061
您的支持是博主寫作最大的動(dòng)力，如果您喜歡我的文章，感覺我的文章對(duì)您有幫助，請(qǐng)用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點(diǎn)擊下面給點(diǎn)支持吧，站長(zhǎng)非常感激您！手機(jī)微信長(zhǎng)按不能支付解決辦法：請(qǐng)將微信支付二維碼保存到相冊(cè)，切換到微信，然后點(diǎn)擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對(duì)您有幫助就好】元
