最近參與了了一個(gè)日志和告警的數(shù)據(jù)挖掘項(xiàng)目，里面用到的一些思路在這里和大家做一個(gè)分享。
項(xiàng)目的需求是收集的客戶系統(tǒng)一個(gè)月300G左右的的日志和告警數(shù)據(jù)做一個(gè)整理，主要是歸類(Grouping)和關(guān)聯(lián)(Correlation)，從而得到告警和日志的一些統(tǒng)計(jì)關(guān)系，這些統(tǒng)計(jì)結(jié)果可以給一線支持人員參考。
得到的數(shù)據(jù)主要分為兩部分，一部分是告警的歷史數(shù)據(jù)，這部分?jǐn)?shù)據(jù)很少，只有50M左右，剩下的全部都是日志數(shù)據(jù)。日志數(shù)據(jù)大概有50多種不同類型，對(duì)應(yīng)系統(tǒng)中不同的模塊。每種類型的文件每天產(chǎn)生一個(gè)日志文件，所以總數(shù)大概是1500個(gè)左右的日志文件。文件大概都是這樣的：A_2016-04-15.log, B_2016-04-15.log, ..., A_2016-05-14.log, B_2016-05-14.log。每個(gè)文件在10M-1G之間不等。
1. 日志的模式挖掘
通過查看日志，發(fā)現(xiàn)所有的log每一行基本都是類似這樣的Pattern:
YYYY-MM-DD hh:mm:ss [模塊名] [具體日志]
每類日志的模塊名都是一樣的，基本可以忽略。有價(jià)值的就是時(shí)間戳和具體日志。
而且可以發(fā)現(xiàn)，很多日志只是極少部分動(dòng)態(tài)內(nèi)容不同，在代碼中屬于同一個(gè)位置的輸出，這些數(shù)據(jù)后面我們會(huì)分為一類數(shù)據(jù)。比如：
2016-04-26 00:30:38.795 55637 ResourceManager Free ram (MB): 244736
2016-04-26 00:34:38.795 55637 ResourceManager Free ram (MB): 244748
有某些類型日志每個(gè)時(shí)段都有出現(xiàn)，咨詢后得知基本沒有任何分析價(jià)值，這些日志后面我們會(huì)加入黑名單，不加分析。
2. 日志的歸類
由于每類日志都有30個(gè)文件，每個(gè)文件基本都有100萬行，我們的第一步工作就是去除上面提到的無用日志。去掉無用日志后，我們要分析的日志大概減少了30%。
接著我們要做的就是每一行的日志進(jìn)行歸類（Grouping）。這里有很多的方法可以選擇，比如K-means，但是我們這么多的日志，很難去定義一個(gè)合適的K。經(jīng)過一番嘗試后我們放棄了K-means。但是K-means的思想還是可以用的。最后我們使用的是啟發(fā)式的方法來歸類。
延伸閱讀
- ssh框架 2016-09-30
- 阿里移動(dòng)安全 [無線安全]玩轉(zhuǎn)無線電——不安全的藍(lán)牙鎖 2017-07-26
- 消息隊(duì)列NetMQ 原理分析4-Socket、Session、Option和Pipe 2024-03-26
- Selective Search for Object Recognition 論文筆記【圖片目標(biāo)分割】 2017-07-26
- 詞向量-LRWE模型-更好地識(shí)別反義詞同義詞 2017-07-26
- 從棧不平衡問題 理解 calling convention 2017-07-26
- php imagemagick 處理 圖片剪切、壓縮、合并、插入文本、背景色透明 2017-07-26
- Swift實(shí)現(xiàn)JSON轉(zhuǎn)Model - HandyJSON使用講解 2017-07-26
- 阿里移動(dòng)安全 Android端惡意鎖屏勒索應(yīng)用分析 2017-07-26
- 集合結(jié)合數(shù)據(jù)結(jié)構(gòu)來看看(二) 2017-07-26
學(xué)習(xí)是年輕人改變自己的最好方式