水聲目標(biāo)分類(lèi)算法研究中使用的性能指標(biāo)單一且受樣本不平衡影響,其評(píng)估方法也不適于樣本有限的場(chǎng)景。針對(duì)這些問(wèn)題,本文基于水聲場(chǎng)景需求,建立了仿真模型,并分析了性能指標(biāo)與樣本類(lèi)分布的關(guān)系,比較了不同樣本條件下各評(píng)估方法的估計(jì)誤差。結(jié)果表明:PR曲線下面積具有穩(wěn)定的鑒別力,均衡正確率等指標(biāo)受樣本類(lèi)分布影響小,各評(píng)估方法在樣本有限時(shí)估值差異顯著。據(jù)此,本文構(gòu)建性能指標(biāo)體系可用于設(shè)計(jì)和評(píng)估算法,提出適應(yīng)水聲需求的修正均衡正確率,同時(shí)推薦采用5×2分層交叉驗(yàn)證的評(píng)估方法。

【文章頁(yè)數(shù)】：7 頁(yè)

【部分圖文】：

圖1性能指標(biāo)與r的關(guān)系

綜上,由PR曲線及AUC_PR、TPR、FPR及AccB構(gòu)建性能指標(biāo)體系。PR曲線反映算法的知識(shí)建模能力,標(biāo)量指標(biāo)AUC_PR用于比較。AccB和修正AccB反映模型聯(lián)合門(mén)限的分類(lèi)能力,FPR體現(xiàn)約束,ROC曲線參與對(duì)AccB的修正。修正AccB使融合指標(biāo)更符合水聲場(chǎng)景中控制FP....

圖2各評(píng)估方法在不同樣本集下的估計(jì)值分布

圖2為試驗(yàn)1000次估值的箱線圖,展示不同樣本集設(shè)置下各評(píng)估方法的估值分布。圖中虛線為真值,三角為均值,箱子兩端為四分位數(shù),延長(zhǎng)線端點(diǎn)為極值。均值相對(duì)真值的偏離反映估計(jì)偏差,箱子及延長(zhǎng)線的長(zhǎng)短反映估計(jì)方差。為進(jìn)一步定量比較估計(jì)結(jié)果差異,在0.05的顯著性水平下利用F檢驗(yàn)考察方差....

本文編號(hào)：3975468