一、概述

根據(jù)《深入理解Spark:核心思想與源碼分析》一書,結合最新的spark源代碼master分支進行源碼閱讀,對新版本的代碼加上自己的一些理解,如有錯誤,希望指出。

1.塊管理器BlockManager的實現(xiàn)

塊管理器是Spark存儲體系的核心組件,Driver Application和Executor都會創(chuàng)建BlockManager,源代碼位置在core/org.apache.spark.storage,部分代碼如下。

Android培訓,安卓培訓,手機開發(fā)培訓,移動開發(fā)培訓,云培訓培訓 View Code

上面代碼中聲明的BlockInfoManager用于管理BlockManager緩存BlockId及對應的BlockInfo,BlockInfoManager提供一些列的同步讀寫策略。BlockManager由以下部分組成。

1)shuffle客戶端shuffleClient;

2)BlockManagerMaster,對存在于所有Executor上的BlockManager進行統(tǒng)一管理;

3)磁盤塊管理器DiskBlockManager;

4)內(nèi)存存儲MemoryStore;

延伸閱讀

學習是年輕人改變自己的最好方式-Java培訓,做最負責任的教育,學習改變命運,軟件學習,再就業(yè),大學生如何就業(yè),幫大學生找到好工作,lphotoshop培訓,電腦培訓,電腦維修培訓,移動軟件開發(fā)培訓,網(wǎng)站設計培訓,網(wǎng)站建設培訓學習是年輕人改變自己的最好方式