在構建精準用戶畫像時,面臨著這樣一個問題:日志采集不能成功地收集用戶的所有ID,且每條業(yè)務線有各自定義的UID用來標識用戶,從而造成了用戶ID的零碎化。因此,為了做用戶標簽的整合,用戶ID之間的強打通(亦稱為ID-Mapping)成了迫切的需求。大概三年前,在知乎上有這樣一個與之相類似的問題:如何用MR實現(xiàn)并查集以對海量數(shù)據(jù)pair做聚合;目前為止還無人解答。本文將提供一個可能的解決方案——如何用MR計算框架來實現(xiàn)大數(shù)據(jù)下的ID強打通。

首先,簡要地介紹下Android設備常見的ID:

  • IMEI(International Mobile Equipment Identity),即通常所說的手機序列號、手機“串號”,用于在移動電話網(wǎng)絡中識別每一部獨立的手機等行動通訊裝置;序列號共有15位數(shù)字,前6位(TAC)是型號核準號碼,代表手機類型。接著2位(FAC)是最后裝配號,代表產(chǎn)地。后6位(SNR)是串號,代表生產(chǎn)順序號。最后1位(SP)一般為0,是檢驗碼,備用。
  • MAC(Media Access Control)一般代指MAC位址,為網(wǎng)卡的標識,用來定義網(wǎng)絡設備的位置。
  • IMSI(International Mobile SubscriberIdentification Number),儲存在SIM卡中,可用于區(qū)別移動用戶的有效信息;其總長度不超過15位,同樣使用0~9的數(shù)字。其中MCC是移動用戶所屬國家代號,占3位數(shù)字,中國的MCC規(guī)定為460;MNC是移動網(wǎng)號碼,最多由兩位數(shù)字組成,用于識別移動用戶所歸屬的移動通信網(wǎng);MSIN是移動用戶識別碼,用以識別某一移動通信網(wǎng)中的移動用戶。
  • Android ID是系統(tǒng)隨機生成的設備ID 為一串64位的編碼(十六進制的字符串),通過它可以知道設備的壽命(在設備恢復出廠設置或刷機后,該值可能會改變)。

2. 設計

從圖論的角度出發(fā),ID強打通更像是將小連通圖合并成一個大連通圖;比如,在日志中出現(xiàn)如下三條記錄,分別表示三個ID集合(小連通圖):

A B   C
        C   D
            D   E

通過將三個小連通圖合并,便可得到一個大連通圖——完整的ID集合列表A B C D E。淘寶明風介紹了如何用Spark GraphX通過outerJoinVertices等運算符來做大數(shù)據(jù)下的多圖合并;針對ID強打通的場景,也可采用類似的思路:日志數(shù)據(jù)構建大的稀疏圖,然后采用自join的方式做打通。但是,我并沒有選用GraphX,理由如下:

  • GraphX只支持有向圖,而不支持無向圖,而ID之間的關聯(lián)關系是一個無向連通圖;
  • GraphX的join操作不完全可控,“不完全可控”是指在做圖合并時我們需要做過濾山寨設備、一對多的ID等操作,而在GraphX封裝好的join算子上實現(xiàn)過濾操作則成本過高。

延伸閱讀

學習是年輕人改變自己的最好方式-Java培訓,做最負責任的教育,學習改變命運,軟件學習,再就業(yè),大學生如何就業(yè),幫大學生找到好工作,lphotoshop培訓,電腦培訓,電腦維修培訓,移動軟件開發(fā)培訓,網(wǎng)站設計培訓,網(wǎng)站建設培訓學習是年輕人改變自己的最好方式