隨著計算機技術(shù)的發(fā)展和普及應(yīng)用,在極大豐富信息資源的同時,數(shù)據(jù)量爆炸的問題也伴隨而來。原先的機器學(xué)習(xí)算法已不能滿足對海量數(shù)據(jù)提取信息的需求。因此在大數(shù)據(jù)的背景下,設(shè)計出可以對大量數(shù)據(jù)進行高效運算的新算法成為當(dāng)務(wù)之急。本文以模仿生物腦細胞工作原理的人工神經(jīng)網(wǎng)絡(luò)算法作為切入點,并考慮樣本非對稱性的影響,針對激勵函數(shù)提出算法的改進方案。首先在實際應(yīng)用中,一些案例正負類樣本的非對稱性問題對算法的學(xué)習(xí)造成了極大的迷惑性。因此在建立模型前的數(shù)據(jù)預(yù)處理階段,先平衡好正負類樣本的差異,會使得后面算法表現(xiàn)更優(yōu)。本文分別研究了欠采樣(Tomek Links等)、過采樣(SMOTE等)和綜合采樣(SMOTE+ENN)方法的原理及優(yōu)缺點,最后選擇表現(xiàn)最好的SMOTE+ENN綜合采樣法處理實證樣本。激勵函數(shù)作為算法非線性性的強力表達,其表現(xiàn)能力的好壞直接影響到算法結(jié)果的準(zhǔn)確性。在BP算法中,激勵函數(shù)導(dǎo)數(shù)直接影響模型權(quán)重最后是否可以收斂以及收斂的速度。對比Sigmoid等激勵函數(shù),最后選擇表現(xiàn)最好的swish激勵函數(shù)并對其進行改進。分別對改變函數(shù)形狀的各個參數(shù)進行分析,推導(dǎo)它們在神經(jīng)網(wǎng)絡(luò)模型擬合中的過程,并給出改...

【文章頁數(shù)】：51 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖2-1TomekLinks算法示意圖

圖2-1TomekLinks算法示意圖圖中觀察可見，此算法主要剔除了在小樣本類中的大樣本類樣本，使各更加集中。在建立TomekLinks鏈接對后，對滿足配對的大樣本類贗本除，在平衡正負類數(shù)據(jù)的同時，也減少了模型的復(fù)雜性。有一種欠采樣的方法就是NearMiss算法....

圖2-2Nearmiss算法示意圖

圖2-2Nearmiss算法示意圖圖中觀察，能略微分辨出三種欠采樣方法的區(qū)別，從原理上分析，Near于其工作原理，在多數(shù)類樣本點選擇上，更偏向于集中在少數(shù)類附近法更具有局部性，最后樣本的分布并不是均勻的。NearMiss-3算法則離少數(shù)類近的多數(shù)類樣本，因此兩類樣本的分布....

圖2-3SMOTE及衍生算法示意圖

華中科技大學(xué)碩士學(xué)位論文P加入到新的集合中。（3）最后針對在新合成集合中的每個樣本點再次使用SMOTE算法生成新對于Borderline-SMOTE2[18]的思路與Borderline-SMOTE1的1、2兩步都大是在新集合中不是進行簡單....

圖2-4SMOTE+Tomek算法示意圖

圖2-4SMOTE+Tomek算法示意圖可以觀察出，首先SMOTE是通過線性插值方法提高少數(shù)類樣本過采樣補充的數(shù)據(jù)量大，這樣就可以一定程度上在平衡分布的問題。而后在數(shù)據(jù)中建立TomekLinks對，尋找類別之間，將這些連接對直接剔除，而且這里由于一開始擴充了樣本容....

本文編號：3891623