/ 中存储网

从源代码编译Hadoop

2013-10-30 00:00:00 来源:中存储
步骤其实很简单,但是文档并不是很详细,导致整个过程不断摸索,整理一下分享给大家。
  1、下载网址:
  http://git.apache.org/
  2、必要软件Maven
  这个需要注意,不要下载最新3.1.1,而是下载3.0.5,因为3.1.1存在一个bug会带来麻烦。
  这也是红帽、IBM不采用最新版本的原因吧,号称stable其实存在重大bug。
  http://jira.codehaus.org/browse/MSITE-683
  我把Maven解压放在 /usr/local,以此为例,修改/etc/profile增加:
  export M2_HOME=/usr/local/apache-maven-3.0.5
  export PATH=$PATH:$M2_HOME/bin
  3、必要软件ProtocolBuffer,下载 2.5.0
  http://code.google.com/p/protobuf/
  解压缩之后
  ./configure && make
  很简单,没什么好说的
  3、必要软件Findbugs,翻墙或者想其它办法吧
  http://findbugs.sourceforge.net/
  解压缩至/usr/local/,修改/etc/profile:
  export FINDBUGS_HOME=/usr/local/findbugs-2.0.2
  export PATH=$PATH:$FINDBUGS_HOME/bin
  4、source /etc/profile(不懂问google)
  5、必要软件cmake,似乎所有Linux发行版都有,安装一下即可
  6、进入下载完毕的hadoop源代码目录:
  mvn package -DskipTests -Pdist,native,docs -Dtar
  maven我也不是很熟系,请阅读它的文档。
  7、至此,可以在hadoop-dist/target里边找到编译完成的安装包,后续步骤与下载binary安装没什么两样。