試想一下，你現(xiàn)在所在的公司有一個(gè)hadoop的集群。但是A項(xiàng)目組經(jīng)常做一些定時(shí)的BI報(bào)表，B項(xiàng)目組則經(jīng)常使用一些軟件做一些臨時(shí)需求。那么他們肯定會(huì)遇到同時(shí)提交任務(wù)的場(chǎng)景，這個(gè)時(shí)候到底如何分配資源滿足這兩個(gè)任務(wù)呢？是先執(zhí)行A的任務(wù)，再執(zhí)行B的任務(wù)，還是同時(shí)跑兩個(gè)？
如果你存在上述的困惑，可以多了解一些yarn的資源調(diào)度器。
在Yarn框架中，調(diào)度器是一塊很重要的內(nèi)容。有了合適的調(diào)度規(guī)則，就可以保證多個(gè)應(yīng)用可以在同一時(shí)間有條不紊的工作。最原始的調(diào)度規(guī)則就是FIFO，即按照用戶提交任務(wù)的時(shí)間來(lái)決定哪個(gè)任務(wù)先執(zhí)行，但是這樣很可能一個(gè)大任務(wù)獨(dú)占資源，其他的資源需要不斷的等待。也可能一堆小任務(wù)占用資源，大任務(wù)一直無(wú)法得到適當(dāng)?shù)馁Y源，造成饑餓。所以FIFO雖然很簡(jiǎn)單，但是并不能滿足我們的需求。
yarn默認(rèn)還提供了兩種調(diào)度規(guī)則，capacity和fair share。本篇就主要介紹下capacity調(diào)度器：
延伸閱讀
- ssh框架 2016-09-30
- 阿里移動(dòng)安全 [無(wú)線安全]玩轉(zhuǎn)無(wú)線電——不安全的藍(lán)牙鎖 2017-07-26
- 消息隊(duì)列NetMQ 原理分析4-Socket、Session、Option和Pipe 2024-03-26
- Selective Search for Object Recognition 論文筆記【圖片目標(biāo)分割】 2017-07-26
- 詞向量-LRWE模型-更好地識(shí)別反義詞同義詞 2017-07-26
- 從棧不平衡問(wèn)題 理解 calling convention 2017-07-26
- php imagemagick 處理 圖片剪切、壓縮、合并、插入文本、背景色透明 2017-07-26
- Swift實(shí)現(xiàn)JSON轉(zhuǎn)Model - HandyJSON使用講解 2017-07-26
- 阿里移動(dòng)安全 Android端惡意鎖屏勒索應(yīng)用分析 2017-07-26
- 集合結(jié)合數(shù)據(jù)結(jié)構(gòu)來(lái)看看(二) 2017-07-26
學(xué)習(xí)是年輕人改變自己的最好方式