前言

在國內(nèi)編譯Spark項目需要從Maven源下載很多依賴包,官方源在國內(nèi)大環(huán)境下的下載速度大家都懂得,那個煎熬啊,簡直是浪費生命。

如果你的下載速度很快,你現(xiàn)在就可以無視這篇文章了。

阿里云給國內(nèi)開發(fā)者提供了一個非常的良心的服務:提供了一個國內(nèi)Maven鏡像,可以讓我們拜托這種煎熬。

地址信息

阿里云的Maven也是基于nexus構(gòu)建。

地址:http://maven.aliyun.com/
倉庫地址:http://maven.aliyun.com/nexus/content/groups/public/

Spark支持sbt及Maven兩種編譯方式,接下來分別介紹,如何修改構(gòu)建配置,采用阿里云的maven倉庫加速Spark編譯過程。

提速sbt構(gòu)建速度

網(wǎng)上有資料介紹如何使用國內(nèi)鏡像加速編譯,比如這個:http://blog.csdn.net/mmical/article/details/41925823

然,對于Spark項目而言,并卵!因為Spark單獨定義了項目的構(gòu)建規(guī)則,并不會加載默認的倉庫解析配置。

我們需要修改Spark源碼下的

網(wǎng)友評論