基于機器學(xué)習(xí)的日志函數(shù)自動識別方法
本文選題:日志函數(shù) + 機器學(xué)習(xí)。 參考:《計算機工程與科學(xué)》2017年01期
【摘要】:隨著軟件規(guī)模的不斷增長,日志在故障檢測中發(fā)揮著愈加重要的作用。然而,目前軟件日志缺乏統(tǒng)一標(biāo)準(zhǔn),常受開發(fā)人員個人習(xí)慣影響,為大規(guī)模系統(tǒng)中日志的自動化分析帶來了挑戰(zhàn)。其中,日志函數(shù)的識別作為日志分析的前提條件,對分析結(jié)果有著直接影響。提出了一種基于機器學(xué)習(xí)的方法以支持日志自動識別。通過系統(tǒng)分析廣泛使用的大規(guī)模開源軟件,總結(jié)出日志函數(shù)編寫的主要形式,并提取不同形式間的共性特征,進而基于機器學(xué)習(xí)實現(xiàn)了自動日志識別工具iLog。實驗顯示,使用iLog識別的日志函數(shù)能力平均為使用特定關(guān)鍵字的76倍,十折交叉驗證得到iLog的分析結(jié)果的F-Score為0.93。
[Abstract]:With the increasing of software scale, log plays an increasingly important role in fault detection. However, the lack of a unified standard for software logging, often influenced by the developer's personal habits, poses a challenge to the automated analysis of logs in large-scale systems. The recognition of log function as a precondition of log analysis has a direct impact on the analysis results. A method based on machine learning is proposed to support automatic log recognition. Through the systematic analysis of the widely used open source software, the main forms of writing log functions are summarized, and the common features among different forms are extracted, and then the automatic log recognition tool iLog is implemented based on machine learning. The experimental results show that the ability of using iLog to recognize log functions is 76 times that of using specific keywords on average, and the F-Score of 10% cross-validation of iLog analysis results is 0.93.
【作者單位】: 國防科學(xué)技術(shù)大學(xué)計算機學(xué)院;
【基金】:國家自然科學(xué)基金(61379146,61272483) 騰訊高校合作項目“面向故障檢測的大規(guī)模開源軟件日志增強技術(shù)研究”
【分類號】:TP311.53;TP181
【參考文獻】
相關(guān)期刊論文 前3條
1 程苗;陳華平;;基于Hadoop的Web日志挖掘[J];計算機工程;2011年11期
2 肖慧;王立華;;Web日志挖掘中的用戶識別算法[J];計算機系統(tǒng)應(yīng)用;2011年05期
3 宋擒豹,沈鈞毅;Web日志的高效多能挖掘算法[J];計算機研究與發(fā)展;2001年03期
【共引文獻】
相關(guān)期刊論文 前10條
1 雷軍;葉航軍;武澤勝;張鵬;謝龍;何炎祥;;基于開源生態(tài)系統(tǒng)的大數(shù)據(jù)平臺研究[J];計算機研究與發(fā)展;2017年01期
2 賈周陽;廖湘科;劉曉東;李姍姍;周書林;謝欣偉;;基于機器學(xué)習(xí)的日志函數(shù)自動識別方法[J];計算機工程與科學(xué);2017年01期
3 王英英;;基于MVC的體育舞蹈視頻教學(xué)系統(tǒng)研究[J];自動化與儀器儀表;2016年11期
4 楊玲;;基于MVC的體育田徑視頻教學(xué)系統(tǒng)的設(shè)計[J];自動化與儀器儀表;2016年11期
5 包永紅;;云計算技術(shù)下數(shù)據(jù)挖掘平臺設(shè)計及技術(shù)[J];現(xiàn)代電子技術(shù);2016年16期
6 曹萍;;基于Hadoop和Mahout的ASUCF算法并行化研究[J];軟件工程;2016年06期
7 曹萍;;基于Hadoop的協(xié)同過濾推薦并行化研究[J];計算機時代;2016年05期
8 潘峰;李濤;;大數(shù)據(jù)環(huán)境下網(wǎng)絡(luò)安全態(tài)勢感知研究進展[J];保密科學(xué)技術(shù);2016年04期
9 竇鵬偉;王珍;佘侃侃;;云環(huán)境下海量方劑組方規(guī)律分析[J];世界科學(xué)技術(shù)-中醫(yī)藥現(xiàn)代化;2016年03期
10 劉彤;張陽;孫琦;袁,
本文編號:2012487
本文鏈接:http://www.lk138.cn/kejilunwen/zidonghuakongzhilunwen/2012487.html