本文是58同城信息系統(tǒng)部高級經(jīng)理余中洋對大數(shù)據(jù)在互聯(lián)網(wǎng)行業(yè)應(yīng)用的總結(jié)。以實際經(jīng)驗講解了大數(shù)據(jù)從雛形到發(fā)展，以及發(fā)展過程中傳統(tǒng)數(shù)據(jù)倉庫到大數(shù)據(jù)平臺的轉(zhuǎn)化和大數(shù)據(jù)的可視化應(yīng)用。
大數(shù)據(jù)顯雛形——發(fā)展
所有公司在一開始時，數(shù)據(jù)的建設(shè)都是比較落后的，但隨著互聯(lián)網(wǎng)的環(huán)境推動，以及公司計劃2013年在紐約交易所上市，這時候面臨一個很大的問題。在上市之前，公司的數(shù)據(jù)，無論是流量數(shù)據(jù)還是財務(wù)產(chǎn)品數(shù)據(jù)都需要經(jīng)過非常嚴(yán)格的審計。為此，我們開始整理數(shù)據(jù)，做數(shù)據(jù)報表，花費一年多的時間做數(shù)據(jù)整理、數(shù)據(jù)規(guī)范，慢慢的大數(shù)據(jù)的平臺有了雛形。
后來公司上市之后，數(shù)據(jù)運營的重點從反映過去和現(xiàn)在的狀況轉(zhuǎn)變成指導(dǎo)業(yè)務(wù)、管理業(yè)績、支持銷售。
2015年到2016年這兩年，公司將目標(biāo)投入到數(shù)據(jù)智能上，建立了一個非常大的系統(tǒng)平臺，并且讓整個銷售和產(chǎn)品運營體系全面實施數(shù)據(jù)化運營。在這個平臺上，我們不僅僅要進(jìn)行管理銷售，還要構(gòu)建銷售能力模型，預(yù)測未來業(yè)績。因為在美國市場的股價，更多的是依賴公司未來的發(fā)展，公司未來預(yù)期決定了公司現(xiàn)在的股價，因此總共的業(yè)績預(yù)測非常重要，能夠非常精確的預(yù)測銷售更加重要。
大數(shù)據(jù)平臺建設(shè)
公司擁有很多的業(yè)務(wù)數(shù)據(jù)庫，有訂單、CRM、合同管理、人力資源等數(shù)據(jù)庫。以往，我們會把這些數(shù)據(jù)庫里的數(shù)據(jù)做集成，做一個簡單的數(shù)據(jù)倉庫，然后根據(jù)業(yè)務(wù)需求，在數(shù)據(jù)集成的基礎(chǔ)上，通過帆軟報表建立一個決策系統(tǒng)，做數(shù)據(jù)展示，提供服務(wù)。這個過程的好處是開發(fā)成本低，投入成本低，技術(shù)架構(gòu)簡單，可以非?？焖俚脑诠緝?nèi)部運行起來。
但是這樣的方式隨著業(yè)務(wù)系統(tǒng)的增多，逐漸開始不適用。一是業(yè)務(wù)數(shù)據(jù)多樣化、數(shù)據(jù)未集中管理、有效利用數(shù)據(jù)難度大；數(shù)據(jù)存儲能力受限，無法追溯較遠(yuǎn)的歷史數(shù)據(jù)。二是很多情況下，不同的產(chǎn)品經(jīng)理和工程師所提的需求是不同的，而且這些不同的需求本身是交織在一起的。因此不同的團(tuán)隊做出同樣的指標(biāo)，由于數(shù)據(jù)指標(biāo)定義不一致，存在意義相近重復(fù)指標(biāo)的時候，管理層很難做出決策。三是分析和運營使用的數(shù)據(jù)渠道完全依賴于自身數(shù)據(jù)的監(jiān)控，這會導(dǎo)致IT部門工作壓力較大。
除了以上反映的問題，公司在基于未來發(fā)展情況下又呈現(xiàn)了新一輪的現(xiàn)狀，并提出了以下需求：
- 業(yè)務(wù)的多元化發(fā)展，公司大量的并購導(dǎo)致集團(tuán)數(shù)據(jù)量和數(shù)據(jù)需求爆發(fā)式增長；
- 數(shù)據(jù)網(wǎng)狀流通，基礎(chǔ)數(shù)據(jù)、數(shù)據(jù)指標(biāo)缺少統(tǒng)一的元數(shù)據(jù)管理；
- 為了更好發(fā)掘數(shù)據(jù)價值，提升數(shù)據(jù)能力、構(gòu)建標(biāo)準(zhǔn)化數(shù)據(jù)體系成為當(dāng)務(wù)之急。
大數(shù)據(jù)平臺業(yè)務(wù)架構(gòu)
集團(tuán)的業(yè)務(wù)架構(gòu)大體可以分為幾塊內(nèi)容。第一個是數(shù)據(jù)模型師。主要的工作是做好元數(shù)據(jù)管理，數(shù)據(jù)模型的開發(fā)以及建立統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)。第二個是數(shù)據(jù)開發(fā)員，它會對接產(chǎn)品，然后去做一些業(yè)務(wù)開發(fā)。第三個是業(yè)務(wù)人員，業(yè)務(wù)人員是運營、銷售、市場人員，在這個地方做了很多可視化來幫助他們做出決策。最后是公司的數(shù)據(jù)分析部門，他們有很多對于審計包括公司一些非常核心的數(shù)據(jù)的分析需求，他們會通過獨立的數(shù)據(jù)查詢系統(tǒng)實現(xiàn)數(shù)據(jù)多維度分析。
