發(fā)布時(shí)間：2020-12-05 23:39

　　循環(huán)神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)中重要的組成部分,與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)相比,循環(huán)神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)在于可以處理具有時(shí)間先后順序的序列數(shù)據(jù),但其處理較長(zhǎng)時(shí)間序列能力較弱,不具有較長(zhǎng)時(shí)間的記憶性。針對(duì)這一問題,許多學(xué)者都進(jìn)行了研究并取得了一定的成果。對(duì)于波動(dòng)率的研究是金融理論研究和實(shí)際決策的重要部分,其中己實(shí)現(xiàn)波動(dòng)率是基于日內(nèi)高頻數(shù)據(jù)估計(jì)波動(dòng)率的方法,優(yōu)于低頻數(shù)據(jù)估計(jì)得到的波動(dòng)率結(jié)果,具有重要的研究?jī)r(jià)值。滬深300指數(shù)作為可以反映中國(guó)金融市場(chǎng)的重要指示指數(shù),對(duì)其波動(dòng)性的研究也非常重要。本文根據(jù)獨(dú)立循環(huán)神經(jīng)網(wǎng)絡(luò)的思想,在長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)的基礎(chǔ)上,改變了相應(yīng)的激活函數(shù)和乘積形式,得到了獨(dú)立長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)模型。與此同時(shí),本文將獨(dú)立循環(huán)神經(jīng)網(wǎng)絡(luò)和獨(dú)立長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)中的激活函數(shù)由線性整流函數(shù)ReLu替換為指數(shù)線性單元Elu函數(shù)和平滑整流函數(shù)softplus得到新的改進(jìn)模型,用以預(yù)測(cè)滬深300指數(shù)己實(shí)現(xiàn)波動(dòng)率,對(duì)新模型的長(zhǎng)記憶性進(jìn)行了分析,并將新模型及傳統(tǒng)模型對(duì)于己實(shí)現(xiàn)波動(dòng)率的預(yù)測(cè)準(zhǔn)確性進(jìn)行了實(shí)證分析和綜合評(píng)價(jià)。本文利用2010年至2019年10年的滬深300指數(shù)5分鐘高頻數(shù)據(jù)得到的高頻己實(shí)現(xiàn)波動(dòng)率進(jìn)行實(shí)證分析。由實(shí)證結(jié)... 

【文章來源】：北京交通大學(xué)北京市 211工程院校 教育部直屬院校

【文章頁數(shù)】：57 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

循環(huán)神經(jīng)網(wǎng)絡(luò)

??圖３．２循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)??由圖３．２可以比較清楚的看出，網(wǎng)絡(luò)在ｔ時(shí)刻輸入為；ｃｔ，隱藏層的值為心，得到??的輸出為ｙｔ，需要注意的是此時(shí)的＼不僅與當(dāng)前時(shí)刻的輸入ｘｔ有關(guān)，而且與上一時(shí)??亥ｉｊｔ?－?１時(shí)刻的隱藏層值有關(guān)。循環(huán)神經(jīng)網(wǎng)絡(luò)的具體計(jì)算公式如下：??ｈ＝ｆ｛Ｕｘ＋Ｗｈ＾?＋?ｂ）?（３１）??ｙ，＝Ｓ（Ｖｈ）?（３－２）??式３－１為隱藏層的計(jì)算公式，隱藏層也是循環(huán)層。其中ｔ／為輸入ｘｔ的權(quán)重矩陣，??而撕則是作為隱藏層上一時(shí)刻輸入到這一時(shí)刻的值的權(quán)重矩陣，／代表激活函??數(shù)。式３－２代表該時(shí)刻的輸出，輸出層是每個(gè)節(jié)點(diǎn)都與隱藏層的每個(gè)節(jié)點(diǎn)連接的全??連接層。??兩個(gè)公式的區(qū)別在于隱藏層比輸出層多了一個(gè)與上一時(shí)刻相關(guān)的權(quán)重矩陣Ｗ，??若將隱藏層公式反復(fù)帶入到輸出層中，可以得到：??ｙ

如果小于１則會(huì)發(fā)生消失，這就是梯度消失和梯度爆炸問題。如果出??現(xiàn)梯度消失問題則無法確定參數(shù)改進(jìn)的方向，如果發(fā)生梯度爆炸現(xiàn)象，會(huì)使得整個(gè)??學(xué)習(xí)過程變得不穩(wěn)定。在深度學(xué)習(xí)中梯度消失和梯度爆炸問題都是較為常見的問??題，不僅僅存在于循環(huán)神經(jīng)網(wǎng)絡(luò)中，在深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)中都可能發(fā)生［３８］。??３．２長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)??循環(huán)神經(jīng)網(wǎng)絡(luò)梯度消失的問題限制了模型處理數(shù)據(jù)的能力，為了提高循環(huán)神??經(jīng)網(wǎng)絡(luò)的長(zhǎng)時(shí)間記憶性，在一定程度上解決梯度消失問題，１９９７年，Ｈｏｃｈｒｅｉｔｅｒ和??Ｓｃｈｍｉｄｈｕｂｅｒ在傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)中引入三個(gè)了?“門”的結(jié)構(gòu)，提出了長(zhǎng)短時(shí)記憶??網(wǎng)絡(luò)（ＬＳＴＭ），大大提高了循環(huán)神經(jīng)網(wǎng)絡(luò)的“記憶性”。??３．２．１長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)結(jié)構(gòu)??與循環(huán)神經(jīng)網(wǎng)絡(luò)相比，長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)也是具有鏈?zhǔn)降闹厣窠?jīng)網(wǎng)絡(luò)模塊，但其??中重復(fù)的模塊具有不同的結(jié)構(gòu)，其結(jié)構(gòu)圖３．３所示：??

【參考文獻(xiàn)】：
期刊論文
[1]基于ARMA-GARCH模型的滬深300指數(shù)波動(dòng)率分析與預(yù)測(cè)[J]. 黃軒,張青龍.  中國(guó)物價(jià). 2018(06)
[2]基于深度學(xué)習(xí)的上證綜指波動(dòng)率預(yù)測(cè)效果比較研究[J]. 陳衛(wèi)華.  統(tǒng)計(jì)與信息論壇. 2018(05)
[3]基于神經(jīng)網(wǎng)絡(luò)技術(shù)對(duì)標(biāo)普500指數(shù)波動(dòng)率的預(yù)測(cè)[J]. 李健.  中國(guó)市場(chǎng). 2018(07)
[4]ReLU激活函數(shù)優(yōu)化研究[J]. 蔣昂波,王維維.  傳感器與微系統(tǒng). 2018(02)
[5]滬深300波動(dòng)率預(yù)測(cè)模型研究:基于中國(guó)股票和期貨市場(chǎng)高頻數(shù)據(jù)分析[J]. 李航,何楓.  廣義虛擬經(jīng)濟(jì)研究. 2017(04)
[6]基于循環(huán)神經(jīng)網(wǎng)絡(luò)的音素識(shí)別研究[J]. 黎長(zhǎng)江,胡燕.  微電子學(xué)與計(jì)算機(jī). 2017(08)
[7]循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中激活函數(shù)的改進(jìn)[J]. 葉小舟,陶飛飛,戚榮志,張?jiān)骑w,周思琪,劉璇.  計(jì)算機(jī)與現(xiàn)代化. 2016(12)
[8]滬深300股指期權(quán)合約設(shè)計(jì)解讀[J]. 張小艷.  經(jīng)濟(jì)論壇. 2015(04)
[9]基于賦權(quán)已實(shí)現(xiàn)波動(dòng)率的股票市場(chǎng)VaR度量[J]. 邊寬江,王艷榮.  商業(yè)會(huì)計(jì). 2013(12)
[10]中國(guó)股市高頻波動(dòng)率的特征、預(yù)測(cè)模型以及預(yù)測(cè)精度比較[J]. 陳浪南,楊科.  系統(tǒng)工程理論與實(shí)踐. 2013(02)

碩士論文
[1]高頻數(shù)據(jù)下基于已實(shí)現(xiàn)波動(dòng)率的上證50ETF期權(quán)定價(jià)研究[D]. 李超.首都經(jīng)濟(jì)貿(mào)易大學(xué) 2018
[2]激活函數(shù)導(dǎo)向的RNN算法優(yōu)化[D]. 張堯.浙江大學(xué) 2017



本文編號(hào)：2900296