市面上有一些初學(xué)者的誤解，他們拿spark和hadoop比較時(shí)就會(huì)說，Spark是內(nèi)存計(jì)算，內(nèi)存計(jì)算是spark的特性。請問在計(jì)算機(jī)領(lǐng)域，mysql,redis,ssh框架等等他們不是內(nèi)存計(jì)算嗎?依據(jù)馮諾依曼體系結(jié)構(gòu)，有什么技術(shù)的程序不是在內(nèi)存中運(yùn)行，需要數(shù)據(jù)從硬盤中拉取，然后供cpu進(jìn)行執(zhí)行？所有說sprk的特點(diǎn)是內(nèi)存計(jì)算相當(dāng)于什么都沒有說。那么spark的真正特點(diǎn)是什么?拋開spark的執(zhí)行模型的方式，它的特點(diǎn)無非就是多個(gè)任務(wù)之間數(shù)據(jù)通信不需要借助硬盤而是通過內(nèi)存，大大提高了程序的執(zhí)行效率。而hadoop由于本身的模型特點(diǎn)，多個(gè)任務(wù)之間數(shù)據(jù)通信是必須借助硬盤落地的。那么spark的特點(diǎn)就是數(shù)據(jù)交互不會(huì)走硬盤。只能說多個(gè)任務(wù)的數(shù)據(jù)交互不走硬盤，但是sprk的shuffle過程和hadoop一樣仍然必須走硬盤的。

本文是翻譯的出處 https://0x0fff.com/spark-misconceptions/。

原文和作者一起討論:http://www.cnblogs.com/intsmaze/p/7197420.html

微信：intsmaze

平面設(shè)計(jì)培訓(xùn),網(wǎng)頁設(shè)計(jì)培訓(xùn),美工培訓(xùn),游戲開發(fā),動(dòng)畫培訓(xùn)

誤解一：Spark是一種內(nèi)存技術(shù)

　　大家對(duì)Spark最大的誤解就是spark一種內(nèi)存技術(shù)。其實(shí)沒有一個(gè)Spark開發(fā)者正式說明這個(gè)，這是對(duì)Spark計(jì)算過程的誤解。Spark是內(nèi)存計(jì)算沒有錯(cuò)誤，但是這并不是它的特性，只是很多專家在介紹spark的特性時(shí)，簡化后就成了spark是內(nèi)存計(jì)算。

　　什么樣是內(nèi)存技術(shù)？就是允許你將數(shù)據(jù)持久化在RAM中并有效處理的技術(shù)。然而Spark并不具備將數(shù)據(jù)數(shù)據(jù)存儲(chǔ)在RAM的選項(xiàng)，雖然我們都知道可以將數(shù)據(jù)存儲(chǔ)在HDFS, HBase等系統(tǒng)中，但是不管是將數(shù)據(jù)存儲(chǔ)在磁盤還是內(nèi)存，都沒有內(nèi)置的持久化代碼。它所能做的事就是緩存數(shù)據(jù)，而這個(gè)并不是數(shù)據(jù)持久化。已經(jīng)緩存的數(shù)據(jù)可以很容易地被刪除，并且在后期需要時(shí)重新計(jì)算。

延伸閱讀

學(xué)習(xí)是年輕人改變自己的最好方式-Java培訓(xùn),做最負(fù)責(zé)任的教育,學(xué)習(xí)改變命運(yùn),軟件學(xué)習(xí),再就業(yè),大學(xué)生如何就業(yè),幫大學(xué)生找到好工作,lphotoshop培訓(xùn),電腦培訓(xùn),電腦維修培訓(xùn),移動(dòng)軟件開發(fā)培訓(xùn),網(wǎng)站設(shè)計(jì)培訓(xùn),網(wǎng)站建設(shè)培訓(xùn)學(xué)習(xí)是年輕人改變自己的最好方式