來源：電子技術(shù)應(yīng)用 作者：朱莉 孫廣玲

    摘要：在svm算法和sigmoid函數(shù)的基礎(chǔ)上，提出了一種字符識(shí)別自適應(yīng)學(xué)習(xí)算法，該算法通過自適應(yīng)修正sigmoid函數(shù)的參數(shù)，使sigmoid函數(shù)能夠較好地?cái)M合自適應(yīng)數(shù)據(jù)輸出距離的類別后驗(yàn)概率分布，從而提高對(duì)自適應(yīng)數(shù)據(jù)的識(shí)別率。

    關(guān)鍵詞：svm sigmoid函數(shù)自適應(yīng)學(xué)習(xí)梯度下降法

    手寫字符的一個(gè)突出特點(diǎn)就是模式具有較大的變化性，表現(xiàn)為模式空間的類內(nèi)分布過于分散，類間交疊嚴(yán)重，這使得識(shí)別模型無法“恰當(dāng)”地?cái)M合每類模式的數(shù)據(jù)分布或類別之間的判別面。在識(shí)別模型過程中，通過自適應(yīng)學(xué)習(xí)就能較好地?cái)M合特定書寫者筆跡特征向量的空間分布，從而有利于識(shí)別率的提高。當(dāng)然，自適應(yīng)學(xué)習(xí)的結(jié)果只是提高了對(duì)特定書寫者的識(shí)別率，但通過為不同人的筆跡特征向量提供不同的識(shí)別模型，就能夠從總體上提高系統(tǒng)的識(shí)別率。

    任何一種自適應(yīng)學(xué)習(xí)算法都基于一定的識(shí)別方法。從目前已有的文獻(xiàn)來看，大致有以下幾種自適應(yīng)學(xué)習(xí)所依據(jù)的識(shí)別方法：hmms(hidden markov models)，anns(artificial neural networks)，pdnns(probabilistic decision—based neural networks)，子空間法(local subspace)以及模板匹配法(template matching)等。這些識(shí)別方法可以分為分布擬合法(hmms，pdnns，ls，tm)和判別決策法(ann)；前者僅學(xué)習(xí)每一類的正例，而不學(xué)習(xí)反例，而后者是同時(shí)學(xué)習(xí)正例和反倒。顯然，在模型的一致性上，判別決策法要好于分布擬合法。

    根據(jù)這種思想，本文提出了一種基于svm分類算法和sigmoid函數(shù)的自適應(yīng)學(xué)習(xí)算法。svm分類算法是一種判別決策方法，在很多識(shí)別問題中都獲得了很好的實(shí)驗(yàn)結(jié)果，svm分類算法的輸出為距離，參數(shù)化的sigmoid函數(shù)擬合svm輸出距離的類別后驗(yàn)概率分布，使svm的距離輸出變換為概率輸出。本文提出的算法基于這種概率化方法，通過自適應(yīng)學(xué)習(xí)，修改sigmoid參數(shù)，使sigmoid函數(shù)能夠較好地?cái)M合自適應(yīng)數(shù)據(jù)輸出距離的類別后驗(yàn)概率分布。由于輸出距離是基于兩類別的判別面的．因此輸出距離的類別后驗(yàn)概率分布就同時(shí)學(xué)習(xí)了正例和反例。

    本文以手寫數(shù)字為實(shí)驗(yàn)對(duì)象，對(duì)上文提出的自適應(yīng)學(xué)習(xí)算法進(jìn)行了有效性驗(yàn)證。

    1 svm算法及sigmoid函數(shù)

    1．1 svm分類學(xué)習(xí)算法

    1．2 sigmoid函數(shù)

    本文采用的方法，即利用參數(shù)化的sigmoid函數(shù)擬合svm分類決策函數(shù)的輸出距離的類別后驗(yàn)概率分布，使其距離輸出變?yōu)楦怕瘦敵觥?shù)化的sigmoid函數(shù)為：

    1．3 求解a，b

    為了避免求出的參數(shù)a，b值的偏移性，應(yīng)利用不同于訓(xùn)練集d1的數(shù)據(jù)集d2求解a，b的值。d2=將d2中的所有數(shù)據(jù)代入到(6)、(7)式中，求解a，b以求出(7)式的極小值問題。

    2 基于svm和sigmoid函數(shù)的自適應(yīng)學(xué)習(xí)算法

    2.1 多類別分類器設(shè)計(jì)方法

    本文依據(jù)所述svm算法和one-verse-one原則設(shè)計(jì)多類別的分類器。設(shè)類別數(shù)是n，則共有n*(n-1)/2個(gè)分類器，每個(gè)分類器的參數(shù)依次是權(quán)值wi,j,bi,j,ai,j和bi,j,i,j=1,2,……n,i<j。

    2．2 概率輸出下的多類別決策

    概率輸出下的多類別決策規(guī)則是：設(shè)有未知類別數(shù)據(jù)x，將其代入(6)式中有：

    依據(jù)投票法原則，若p(x)>o.5，第i類得到1票；若p(x)<0.5，第j類得到1票；若p(x)=0.5，不投票。當(dāng)依次計(jì)算完n*(n-1)／2個(gè)概率值p之后，得到票數(shù)最多的類別被判別為數(shù)據(jù)x所屬的類別。

    2.3 自適應(yīng)學(xué)習(xí)算法

    本文的自適應(yīng)學(xué)習(xí)算法的核心在于通過自適應(yīng)數(shù)據(jù)中的誤識(shí)樣本，對(duì)參數(shù)ai,j,bi,j進(jìn)行自適應(yīng)修正。

    milil的上腳標(biāo)i1表示x被誤識(shí)為i1類，mi1表示被誤識(shí)為i1類的樣本個(gè)數(shù)。若第i1類的自適應(yīng)數(shù)據(jù)集合的誤識(shí)樣本集合ei1中有被誤識(shí)為i類的樣本，則ei中被誤識(shí)為i1類的樣本和ei1中被誤識(shí)