/ 中存储网

实战Hadoop和HBase 4台Linux虚机环境下安装部署全过程

2015-02-12 12:40:13 来源:中存储网

本文注重实际安装配置,主要用于指导未使用的hadoop 的技术人员,部署Hadoop 和HBase 学习环境。本次测试采用4 台虚拟机,操作系统为RHEL 6.2。

文章说明

在部署Hadoop 集群时,有一些需要注意的地方。了解这些地方,可以减少部署失败的概率,这些内容需要大家注意。

测试环境需要使用RHEL6.2。在使用PST 组提供的测试服务器,使用SUSE 11 时出现JAVA 不能运行现象,使用RHEL 6.4 可以解决JAVA 运行问题,但在启动Hadoop 集群中,namenode 一直未能成功启动,原因暂时未分析。

需要在/etc/hosts 文件中,配置服务器IP 和主机名,保证用hostname 返回的主机名和IP 地址对应。

示例如下:

[root@rhel6205 ~]# cat /etc/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.62.15 rhel6205

192.168.62.16 rhel6206

192.168.62.17 rhel6207

192.168.62.18 rhel6208

[root@rhel6205 ~]#

需要使用64 的安装包。注意:从hadoop 官网下载的安装包,是32 位的lib 库,运行时,会存在问题。对于从官网下载的zookeeper 和HBase 安装文件,未发现64 位问题。

Hadoop 和HBase 在启动时,只需要在namenode 启动即可,zookeeper 需要在每个节点上运行启动脚本。

配置zookeeper 时,每个节点的myid 不同,该id 需要参考zoo.cfg 文件中的Server配置部分。

安装Hadoop

创建用户

创建hadoop 用户,并设置密码为111111。

[root@rhel6205 ~]# useradd hadoop

useradd: user 'hadoop' already exists

[root@rhel6205 ~]# passwd hadoop

Changing password for user hadoop.

New password:

BAD PASSWORD: it does not contain enough DIFFERENT characters

BAD PASSWORD: is a palindrome

Retype new password:

passwd: all authentication tokens updated successfully.

[root@rhel6205 ~]#

依次在192.168.62.15、192.168.62.17、192.168.62.18 上创建hadoop 用户。

建立互信

使用python 脚本ssh_rebuild.py 建立互信。

使用脚本建立互信前,请确保每个节点安装了Python。为了减少部署失败的情况,可以尝试在一个安装GBase 8a 集群的环境中,尝试安装Hadoop 集群。GBase 8a 集群在安装时,对系统环境变量和Python 均进行了部署,对于初学者,可以大大减少Hadoop 部署失败的几率。

[root@rhel6205 ~]# su - hadoop

[hadoop@rhel6205 ~]$ ls

[hadoop@rhel6205 ~]$ cd setup

[hadoop@rhel6205 setup]$ ll *.py

更多内容请下载实战Hadoop全文pdf版本