本文是58同城信息系統(tǒng)部高級(jí)經(jīng)理余中洋對(duì)大數(shù)據(jù)在互聯(lián)網(wǎng)行業(yè)應(yīng)用的總結(jié)。以實(shí)際經(jīng)驗(yàn)講解了大數(shù)據(jù)從雛形到發(fā)展，以及發(fā)展過程中傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)到大數(shù)據(jù)平臺(tái)的轉(zhuǎn)化和大數(shù)據(jù)的可視化應(yīng)用。
大數(shù)據(jù)顯雛形——發(fā)展
所有公司在一開始時(shí)，數(shù)據(jù)的建設(shè)都是比較落后的，但隨著互聯(lián)網(wǎng)的環(huán)境推動(dòng)，以及公司計(jì)劃2013年在紐約交易所上市，這時(shí)候面臨一個(gè)很大的問題。在上市之前，公司的數(shù)據(jù)，無論是流量數(shù)據(jù)還是財(cái)務(wù)產(chǎn)品數(shù)據(jù)都需要經(jīng)過非常嚴(yán)格的審計(jì)。為此，我們開始整理數(shù)據(jù)，做數(shù)據(jù)報(bào)表，花費(fèi)一年多的時(shí)間做數(shù)據(jù)整理、數(shù)據(jù)規(guī)范，慢慢的大數(shù)據(jù)的平臺(tái)有了雛形。
后來公司上市之后，數(shù)據(jù)運(yùn)營(yíng)的重點(diǎn)從反映過去和現(xiàn)在的狀況轉(zhuǎn)變成指導(dǎo)業(yè)務(wù)、管理業(yè)績(jī)、支持銷售。
2015年到2016年這兩年，公司將目標(biāo)投入到數(shù)據(jù)智能上，建立了一個(gè)非常大的系統(tǒng)平臺(tái)，并且讓整個(gè)銷售和產(chǎn)品運(yùn)營(yíng)體系全面實(shí)施數(shù)據(jù)化運(yùn)營(yíng)。在這個(gè)平臺(tái)上，我們不僅僅要進(jìn)行管理銷售，還要構(gòu)建銷售能力模型，預(yù)測(cè)未來業(yè)績(jī)。因?yàn)樵诿绹?guó)市場(chǎng)的股價(jià)，更多的是依賴公司未來的發(fā)展，公司未來預(yù)期決定了公司現(xiàn)在的股價(jià)，因此總共的業(yè)績(jī)預(yù)測(cè)非常重要，能夠非常精確的預(yù)測(cè)銷售更加重要。
大數(shù)據(jù)平臺(tái)建設(shè)
公司擁有很多的業(yè)務(wù)數(shù)據(jù)庫(kù)，有訂單、CRM、合同管理、人力資源等數(shù)據(jù)庫(kù)。以往，我們會(huì)把這些數(shù)據(jù)庫(kù)里的數(shù)據(jù)做集成，做一個(gè)簡(jiǎn)單的數(shù)據(jù)倉(cāng)庫(kù)，然后根據(jù)業(yè)務(wù)需求，在數(shù)據(jù)集成的基礎(chǔ)上，通過帆軟報(bào)表建立一個(gè)決策系統(tǒng)，做數(shù)據(jù)展示，提供服務(wù)。這個(gè)過程的好處是開發(fā)成本低，投入成本低，技術(shù)架構(gòu)簡(jiǎn)單，可以非?？焖俚脑诠緝?nèi)部運(yùn)行起來。
但是這樣的方式隨著業(yè)務(wù)系統(tǒng)的增多，逐漸開始不適用。一是業(yè)務(wù)數(shù)據(jù)多樣化、數(shù)據(jù)未集中管理、有效利用數(shù)據(jù)難度大；數(shù)據(jù)存儲(chǔ)能力受限，無法追溯較遠(yuǎn)的歷史數(shù)據(jù)。二是很多情況下，不同的產(chǎn)品經(jīng)理和工程師所提的需求是不同的，而且這些不同的需求本身是交織在一起的。因此不同的團(tuán)隊(duì)做出同樣的指標(biāo)，由于數(shù)據(jù)指標(biāo)定義不一致，存在意義相近重復(fù)指標(biāo)的時(shí)候，管理層很難做出決策。三是分析和運(yùn)營(yíng)使用的數(shù)據(jù)渠道完全依賴于自身數(shù)據(jù)的監(jiān)控，這會(huì)導(dǎo)致IT部門工作壓力較大。
除了以上反映的問題，公司在基于未來發(fā)展情況下又呈現(xiàn)了新一輪的現(xiàn)狀，并提出了以下需求：
- 業(yè)務(wù)的多元化發(fā)展，公司大量的并購(gòu)導(dǎo)致集團(tuán)數(shù)據(jù)量和數(shù)據(jù)需求爆發(fā)式增長(zhǎng)；
- 數(shù)據(jù)網(wǎng)狀流通，基礎(chǔ)數(shù)據(jù)、數(shù)據(jù)指標(biāo)缺少統(tǒng)一的元數(shù)據(jù)管理；
- 為了更好發(fā)掘數(shù)據(jù)價(jià)值，提升數(shù)據(jù)能力、構(gòu)建標(biāo)準(zhǔn)化數(shù)據(jù)體系成為當(dāng)務(wù)之急。
大數(shù)據(jù)平臺(tái)業(yè)務(wù)架構(gòu)
集團(tuán)的業(yè)務(wù)架構(gòu)大體可以分為幾塊內(nèi)容。第一個(gè)是數(shù)據(jù)模型師。主要的工作是做好元數(shù)據(jù)管理，數(shù)據(jù)模型的開發(fā)以及建立統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)。第二個(gè)是數(shù)據(jù)開發(fā)員，它會(huì)對(duì)接產(chǎn)品，然后去做一些業(yè)務(wù)開發(fā)。第三個(gè)是業(yè)務(wù)人員，業(yè)務(wù)人員是運(yùn)營(yíng)、銷售、市場(chǎng)人員，在這個(gè)地方做了很多可視化來幫助他們做出決策。最后是公司的數(shù)據(jù)分析部門，他們有很多對(duì)于審計(jì)包括公司一些非常核心的數(shù)據(jù)的分析需求，他們會(huì)通過獨(dú)立的數(shù)據(jù)查詢系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)多維度分析。
延伸閱讀
- ssh框架 2016-09-30
- 阿里移動(dòng)安全 [無線安全]玩轉(zhuǎn)無線電——不安全的藍(lán)牙鎖 2017-07-26
- 消息隊(duì)列NetMQ 原理分析4-Socket、Session、Option和Pipe 2024-03-26
- Selective Search for Object Recognition 論文筆記【圖片目標(biāo)分割】 2017-07-26
- 詞向量-LRWE模型-更好地識(shí)別反義詞同義詞 2017-07-26
- 從棧不平衡問題 理解 calling convention 2017-07-26
- php imagemagick 處理 圖片剪切、壓縮、合并、插入文本、背景色透明 2017-07-26
- Swift實(shí)現(xiàn)JSON轉(zhuǎn)Model - HandyJSON使用講解 2017-07-26
- 阿里移動(dòng)安全 Android端惡意鎖屏勒索應(yīng)用分析 2017-07-26
- 集合結(jié)合數(shù)據(jù)結(jié)構(gòu)來看看(二) 2017-07-26
學(xué)習(xí)是年輕人改變自己的最好方式