網絡貸款用戶的信用評估問題對互聯網借貸公司有著非常重要的意義,本文嘗試利用用戶特征預測用戶未來的負債情況,以對現階段信用評估問題做出新的貢獻。線性回歸方法是最經典的統(tǒng)計方法之一,直到今天仍有很多新的改進與探討。本文將利用線性回歸模型對用戶的未來負債進行預測并探討幾種方法的優(yōu)劣對比。在進行多元回歸時,多重共線性會導致模型出現很多問題,為減小或消除多重共線性帶來的影響,本文主要介紹了傳統(tǒng)的有偏估計方法與機器學習方法,研究內容可主要分為以下幾個部分:首先,簡單回顧了最小二乘法與多重共線性對其造成的影響,并介紹了負債分析的含義、作用及可行性。然后,分兩部分分別介紹了用于建立線性回歸模型的有偏估計方法和機器學習方法:Liu估計,主成分估計和Lasso估計,支持向量回歸機和XGBoost模型。分別討論了這些方法的相關理論、實現過程以及它們改善多重共線性的原理。最后,獲取數據進行實證分析,取2018年5月數據預測用戶8月的負債借款情況,得到預測結果并對比幾種方法在該情況下的適用性與優(yōu)劣性,最后給出結論。本文針對負債分析問題,對比了幾種線性回歸算法的預測效果,為今后的應用提供了實例與依據。
【學位單位】：哈爾濱工業(yè)大學
【學位級別】：碩士
【學位年份】：2019
【中圖分類】：C81
【部分圖文】：

圖 3-1 lasso 估計與嶺估計的對比 3-1 表示的是當只有兩個參數時，lasso 估計(左)與嶺估計(右)中誤差形狀。殘差平方和是以最小二乘估計為中心的橢圓輪廓。以原點為域分別是 lasso 與嶺估計的約束區(qū)域1 2 + t和2 21 2 + t. 系數影所示的約束區(qū)域內，那么最先接觸到陰影部分的點就是符合最小的點。Lasso 與嶺估計的主要區(qū)別是 lasso 估計的約束區(qū)域是有頂點輪廓與菱形約束的邊相切時，其余情況該最小誤差平方和的點大多頂點，也就是說這時其中一個自變量系數(即圖 3-1 情況中的1 )取值lasso 估計在計算符合條件的最優(yōu)參數的同時也完成了特征選擇的工作(3-28)也可寫成懲罰函數表示的形式201 1 11arg min2Np plassoi ij j ji j jy x + 現，lasso 估計的懲罰函數是在最小二乘估計的懲罰函數上增加了一pj .

圖 3-1 lasso 估計與嶺估計的對比 3-1 表示的是當只有兩個參數時，lasso 估計(左)與嶺估計(右)中誤差形狀。殘差平方和是以最小二乘估計為中心的橢圓輪廓。以原點為域分別是 lasso 與嶺估計的約束區(qū)域1 2 + t和2 21 2 + t. 系數影所示的約束區(qū)域內，那么最先接觸到陰影部分的點就是符合最小的點。Lasso 與嶺估計的主要區(qū)別是 lasso 估計的約束區(qū)域是有頂點輪廓與菱形約束的邊相切時，其余情況該最小誤差平方和的點大多頂點，也就是說這時其中一個自變量系數(即圖 3-1 情況中的1 )取值lasso 估計在計算符合條件的最優(yōu)參數的同時也完成了特征選擇的工作(3-28)也可寫成懲罰函數表示的形式201 1 11arg min2Np plassoi ij j ji j jy x + 現，lasso 估計的懲罰函數是在最小二乘估計的懲罰函數上增加了一pj .

是構建 X 來估計Y .如圖 3-2 所示，該算法從0 0開始，這度更小，相似程度更大，也就是( ) ( )1 0 2 0c c , 故沿1x 方向逼1 0 1 1 + x擇算法中，會取1 使得1 等于 y 在 方向上的投影；在向前梯度于某個固定的較小的步長 . 而在此算法中，令 ( ) ( 1 1 2 1c c 令2 1 2 2 + u, 其中2u 表示1x 和2x 角平分線方向的單位向量。接受的程度時結束，求得估計參數 .
【相似文獻】

相關期刊論文 前10條

1 王義鬧;盧慶華;;關于多重共線性的三個知識點的準確表述[J];溫州大學學報(自然科學版);2019年03期

2 韓存;毛劍芬;;多重共線性問題及其補救措施[J];內蒙古統(tǒng)計;2009年01期

3 韓存;毛劍芬;;多重共線性問題及其補救措施[J];統(tǒng)計與決策;2008年09期

4 師應來;多重共線性問題探討[J];統(tǒng)計與決策;1994年05期

5 宋九洲，盧軍;動物性狀中多重共線性初探[J];黃牛雜志;1995年S1期

6 趙玉新;;多元線性回歸中多重共線性的研究[J];產業(yè)與科技論壇;2019年03期

7 李從欣;張再生;李國柱;;解決多重共線性的新思路:路徑分析[J];統(tǒng)計與決策;2013年01期

8 楊梅;肖靜;蔡輝;;多元分析中的多重共線性及其處理方法[J];中國衛(wèi)生統(tǒng)計;2012年04期

9 陳玲燕;;多重共線性下的線性回歸方法綜述[J];市場研究;2008年04期

10 劉瓊;;多重共線性的程序選優(yōu)法[J];商場現代化;2008年32期

相關博士學位論文 前2條

1 羅偉林;基于支持向量機方法的船舶操縱運動建模研究[D];上海交通大學;2009年

2 嚴筱永;無線傳感器網絡節(jié)點定位技術研究[D];南京理工大學;2013年

相關碩士學位論文 前10條

1 徐嘉;負債分析中的多重共線性問題研究[D];哈爾濱工業(yè)大學;2019年

2 程書生;關于GM(1,N)模型中多重共線性與自相關性問題的研究[D];武漢理工大學;2018年

3 高陽;對多重共線性檢測指標的一些研究[D];蘭州大學;2019年

4 于曉牧;logistic回歸多重共線性診斷方法的研究[D];大連醫(yī)科大學;2010年

5 張曉麗;偏最小二乘回歸分析若干問題的研究[D];東北師范大學;2010年

6 郭媛媛;基于核主成分回歸的多重共線性消除問題研究[D];河北聯合大學;2014年

7 張鳳蓮;多元線性回歸中多重共線性問題的解決辦法探討[D];華南理工大學;2010年

8 郭鵬妮;嶺回歸與分位數回歸的研究及結合應用[D];哈爾濱工業(yè)大學;2014年

9 李娜娜;多元線性模型與多指標預測[D];武漢科技大學;2006年

10 姚玉臣;影響GDP增長的經濟因素分析[D];哈爾濱工業(yè)大學;2014年

本文編號：2860961