本文仍然使用MapReduce的經(jīng)典例子 WordCount來測試eclipse的開發(fā)環(huán)境。
與大部分教程不同的是,本文使用的hadoop是2.5.2的版本,相較于之前的0.X版本,hadoop 2.X有較大改動
在jar包方面,Hadoop 2.x 版本中 jar 不再集中在一個 hadoop-core*.jar 中,而是分成多個 jar,如使用 Hadoop 2.5.2 運行 WordCount 實例至少需要如下三個 jar:
- $HADOOP_HOME/share/hadoop/common/hadoop-common-2.5.2.jar
- $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.5.2.jar
- $HADOOP_HOME/share/hadoop/common/lib/commons-cli-1.2.jar
實際上,通過命令 hadoop classpath 我們可以得到運行 Hadoop 程序所需的全部 classpath 信息。如下圖所示:
弄清楚jar包的添加后下面開始編譯hadoop程序
編譯MapReduce程序常見的有兩種方法: