本文仍然使用MapReduce的經(jīng)典例子 WordCount來測試eclipse的開發(fā)環(huán)境。

與大部分教程不同的是,本文使用的hadoop是2.5.2的版本,相較于之前的0.X版本,hadoop 2.X有較大改動

在jar包方面,Hadoop 2.x 版本中 jar 不再集中在一個 hadoop-core*.jar 中,而是分成多個 jar,如使用 Hadoop 2.5.2 運行 WordCount 實例至少需要如下三個 jar:

  • $HADOOP_HOME/share/hadoop/common/hadoop-common-2.5.2.jar
  • $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.5.2.jar
  • $HADOOP_HOME/share/hadoop/common/lib/commons-cli-1.2.jar

實際上,通過命令 hadoop classpath 我們可以得到運行 Hadoop 程序所需的全部 classpath 信息。如下圖所示:

 

弄清楚jar包的添加后下面開始編譯hadoop程序

編譯MapReduce程序常見的有兩種方法:

1、使用命令行編譯、打包MapReduce程序

2、安裝eclipse插件編譯MapReduce程序


網(wǎng)友評論