知识库 : UDH v1.0.3离线安装指南

Edit Document

UDH v1.0.3离线安装指南

目录

一、准备工作:系统环境搭建

1.1 网络配置(所有节点)

1.2 设置 ssh 无密码登陆( server 端到所有节点)

1.3 关闭防火墙和 SELinux

1.4 所有节点配置 NTP 服务

二、 Centos 6.4 搭建本地 YUM 源( server 节点)

2.1 准备工作

2.2 挂载 iso 镜像

2.2.1 # 创建 2 个挂载目录

2.2.2 # 挂载 iso

2.2.3 # 激活挂载

2.3 配置 http 服务(所有的 rpm 包)

2.3.1 安装 http 服务,

2.3.2 使用 createrepo 命令创建 yum 仓库:

2.3.3 启动 http 服务

2.4 配置并刷新 yum 仓库(所有节点)

2.4.1 新增 yum 配置文件

2.4.2 刷新查看 yum 是否生效:

三、搭建 UDH 本地 YUM 源( server 节点)

3.1 准备工作

3.2 配置 http 服务

3.3 配置并刷新 yum 仓库(所有节点)

3.3.1 新增 yum 配置文件

3.3.2 刷新查看 yum 是否生效:

四、开始安装 UDH

4.1 环境说明

4.2 准备工作

4.3 安装 udh manager server cdr-yl-01

4.3.1 安装

4.3.2 初始化 UDH Manager Server

4.3.3 启动 UDH Manager Server

4.4 访问 UDH 集群管理器的 UDH-Server Web 页面

4.5 安装运行 UDH Manager Agent

4.5.1 Web 安装运行 UDH- 集群安装向导(以下截图为官方手册中复制过来,需根据提示修改)

4.5.2 进入“选择服务栈”

4.5.3 进入“安装选项”

4.5.4 进入“确认主机”

4.5.5 进入“选择服务”

4.5.6 分配 Masters

4.5.7 分配 Slaves Clients

4.5.8 进入“自定义服务”

4.5.9 复查

4.5.10 安装启动和测试

4.5.11 进入“概要”

4.6 进入 UDH 管理界面

五、 UDH 开启 Hadoop Hbase 集群的 lzo 压缩功能

5.1 配置修改 hdfs 服务对应 core-site.xml

5.1.1 配置

5.2 配置修改 MapReduce2 服务对应 mapred-site.xml

5.2.1 配置

5.3 Hadoop lzo 功能测试

5.3.1 验证

 

一、准备工作:系统环境搭建

这里以 4 台机器( centos 6.4 )为示例安装,其中 cdr-yl-01 节点安装 udh server 及构建 YUM 服务所在机器,

以下操作均用 root 用户操作。

1.1 网络配置(所有节点)

编辑 /etc/hosts, 修改 ip 与主机名的对应关系

#example

192.168.1.106   cdr-yl-01           

192.168.1.107   cdr-yl-02

192.168.1.108   cdr-yl-03

192.168.1.109   cdr-yl-04

 

1.2 设置 ssh 无密码登陆( server 端到所有节点)

在主节点上执行 ssh-keygen -t rsa 一路回车,生成无密码的密钥对。

ssh-copy-id 把公钥复制到远程主机上

例如 cdr-yl-01 主机到其它 3 节点设置无密码登录

ssh-copy-id -i ~/.ssh/id_rsa.pub root@ cdr-yl-02

ssh-copy-id -i ~/.ssh/id_rsa.pub root@ cdr-yl-0 3

ssh-copy-id -i ~/.ssh/id_rsa.pub root@ cdr-yl-0 4

1.3 关闭防火墙和 SELinux

关闭防火墙:

service iptables stop (临时关闭) 

chkconfig iptables off (重启后生效)

关闭 SELINUX

setenforce 0 (临时生效) 

修改 /etc/selinux/config 下的 SELINUX=disabled (重启后永久生效)

1.4 所有节点配置 NTP 服务

集群中所有主机必须保持时间同步,如果时间相差较大会引起各种问题。 具体思路如下:

master 节点作为 ntp 服务器与外界对时中心同步时间。

这里选择 cdr-yl-01 节点为时钟同步服务器,其他节点为客户端同步时间到该节点。

详细配置见《 iUAP UDH v1.0.3 安装指南》 2.3 章节内容。

Ntpd 启动的时候通常需要一段时间大概 5 分钟进行时间同步,所以在 ntpd 刚刚启动的时候还不能正常提供时钟服务,报错 ”no server suitable for synchronization found” 。启动时候需要等待 5 分钟。

二、 Centos 6.4 搭建本地 YUM 源( server 节点)

2.1 准备工作

下载或拷贝 CentOS RedHat iso 镜像到本地

CentOS-6.4-x86_64-bin-DVD1.iso

CentOS-6.4-x86_64-bin-DVD2.iso

2.2 挂载 iso 镜像

2.2.1 #创建2个挂载目录

mkdir -p /mnt/cdrom{1,2}

2.2.2 #挂载iso

直接编辑 /etc/fstab 文件(编辑请请备份),在后面添加:

/usr/local/src/CentOS-6.4-x86_64-bin-DVD1.iso /mnt/cdrom1 iso9660 loop,defaults 0 0

/usr/local/src/CentOS-6.4-x86_64-bin-DVD2.iso /mnt/cdrom2 iso9660 loop,defaults 0 0

2.2.3 #激活挂载

执行 mount -a 自动检测并激活挂载,若未报错,执行 df -h 即可看到结果。

mount -a

2.3 配置 http 服务(所有的 rpm 包)

2.3.1安装http服务,

/var/www/html/ 下新建 rhel 目录并将挂载后目录的所有 rpm 文件建立软连接

mkdir /var/www/html/rhel

ln -s /mnt/cdrom1/Packages/ /var/www/html/rhel/Packages1

ln -s /mnt/cdrom2/Packages/ /var/www/html/rhel/Packages2

2.3.2 使用createrepo命令创建yum仓库:

cd /var/www/html/rhel

createrepo .

2.3.3 启动http服务

/etc/init.d/httpd start

2.4 配置并刷新 yum 仓库(所有节点)

2.4.1 新增yum配置文件

Ps :完全离线使用,新增之前建议先删除 ( 移走 ) 所有在线 yum 源: mv -f /etc/yum.repos.d/*  /tmp/

vim /etc/yum.repos.d/ udh_ rhel.repo

[rhel-yum]

name=Rhel Repository

baseurl=http://192.168.1.106/rhel

enabled=1

gpgcheck=0

2.4.2 刷新查看yum是否生效:

yum clean all && yum list

以上要是没要报错,那么本地 yum 仓库就搭建好了,就可以使用【 yum install 软件名】来安装所需软件,而不需要联网了。

三、搭建 UDH 本地 YUM 源( server 节点)

3.1 准备工作

下载 udh-1.0.3.tar.gz

3.2 配置 http 服务

/var/www/html/ 下新建 udh 目录

mkdir /var/www/html/udh

解压 udh-1.0.3.tar.gz /var/www/html/udh 目录下

cd /var/www/html/udh

tar fzx udh-1.0.3.tar.gz

使用 createrepo 命令创建 yum 仓库:

createrepo .

重启 http 服务

/etc/init.d/httpd restart

3.3 配置并刷新 yum 仓库(所有节点)

3.3.1 新增yum配置文件

vim /etc/yum.repos.d/udh.repo

[udh-yum]

name=Udh Repository

baseurl=http://192.168.1.106/udh

enabled=1

gpgcheck=0

3.3.2 刷新查看yum是否生效:

yum clean all && yum list

以上要是没要报错,那么本地 udh 仓库就搭建好了,就可以使用【 yum install 软件名】来安装所需软件。

四、开始安装 UDH

4.1 环境说明

 

IP 地址

主机名

安装的服务

192.168.1.106

cdr-yl-01

manager-server,manager-agent,namenode,gangliamaster(gmeted),datanode,nodemanager,hbase regionserver,zookeeper-serve

192.168.1.107

cdr-yl-02

manager-agent,secondarynamenode,historyserver,datanode,nodemanager,hbas e regionserver,solr-server,lilyserver,zookeeper-server,client

192.168.1.108

cdr-yl-03

manager-agent,resourcemanager,nagiosserver,datanode,nodemanager,hbase regionserver,solr-server,lily server,zookeeper-server

192.168.1.109

cdr-yl-04

manager-agent,hbasemaster,hueserver,datanode,nodemanager,hbase regionserver,solr-server,lily server,zookeeper-server

 

4.2 准备工作

3.3 中已经搭建了 udh 的本地 yum 源,该 yum 源里已经存在 manager-server manager-agent 包。

4.3 安装 udh manager server cdr-yl-01

4.3.1 安装

yum install manager-server -y

替换 jdk 路径(注意修改对应的 ip 地址)

Sed -i 's/jce_policy1.7.url\=.*/jce_policy1.7.url\=http:\/\/192.168.1.106\/udh\/Utils\/UnlimitedJCEPolicyJDK7.zip/' /etc/ambari-server/conf/ambari.properties

sed -i 's/jdk1.7.url\=.*/jdk1.7.url\=http:\/\/192.168.1.106\/udh\/Utils\/jdk-7u45-linux-x64.tar.gz/' /etc/ambari-server/conf/ambari.properties 

4.3.2 初始化UDH Manager Server

manager-server setup

执行上述命令后,会有相关的提示信息,全部回车即可。

4.3.3启动 UDH Manager Server

manager-server start

4.4 访问 UDH 集群管理器的 UDH-Server Web 页面

访问 http:// 192.168.1.106:8080 进入 UDH Manager 安装页面

初始登录用户名为 admin , 密码为 admin

4.5 安装运行 UDH Manager Agent

U dh agent 提供了手动和自动安装方式,这里直接从 web 端自动安装。

4.5.1 Web 安装运行 UDH- 集群安装向导(以下截图为官方手册中复制过来,需根据提示修改)

在浏览器中输入 http:// 192.168.1.106:8080 输入登录用户、密码。进入到 UDH 集群管理器的欢迎界面。如下所示

欢迎界面.jpg

4.5.2 进入“选择服务栈”

本版本中 Stack 类型只有 UDH 1.0.3

点击“高级库选项”。用于设置 yum 安装源,用于下载 UDH 安装所需要的包。如果当前集群不能连接上互联网,需要设置一个本地的安装源。

注:此处产品默认源为 http://172.16.50.70:8081/nexus/content/repositories/udh 因此需要修改为 http://192.168.1.106/udh

再点击下一步

服务栈.jpg

4.5.3进入“安装选项”

这里目标主机填 cdr-yl- 0[1-4]

私钥为 cdr-yl- 01 主机上 /root/.ssh/id_rsa 文件 复制该文件里的内容粘贴到 ssh 秘钥框

然后点注册并确认。

安装选项.jpg

4.5.4进入“确认主机”

在这一步中首先是在每个节点上安装 UDH-agent, 然后是注册各个节点。如果在安装时失败,请先检查下 UDH-server 是否可以免密码登陆到各个节点。如果是在注册时出错,请检查 ntpd 是否已经同步。

 

确认主机.jpg

4.5.5进入“选择服务”

可以自由选择需要在集群中安装的服务,这里安装上述安装环境说明来选择服务。

4.5.6分配 Masters

为每个服务分配节点。

同上根据安装环境说明来分配节点


分配Master.jpg  

4.5.7 分配 Slaves Clients

选择节点作为 Slave Client ,同样根据环境安装说明勾选

slaves.jpg

4.5.8 进入“自定义服务”

在这个页面中允许配置各个服务的参数。

自定义.jpg

带标识的为必填项, hive 必须填写数据库密码(可以更改用户名), oozie 必须填写数据库密码(可以更改用户名), nagios 必填项为两项,如下:

 

自定义nagios.jpg

4.5.9 复查

在正式安装之前确认各个配置

复查.jpg

4.5.10 安装启动和测试

安装已配置好的服务,并启动服务。

安装启动和测试.jpg

【消息】记录了当前各个节点正在安装的服务,点击它的链接,可以查看每个节点服务的详细安装情况。


安装启动和测试节点日志进程.jpg  

4.5.11 进入“概要”

概要.jpg

至此所有安装步骤已完成 单击完成 即 udh 集群已安装完毕并能使用 udh 管理所有 Hadoop 相关组件。

4.6 进入 UDH 管理界面

在首页中,可以看到有一个包含有“仪表板”、“热图”、“服务”、“主机”、“管理” 5 个页签的菜单栏。

5 个页签代表着 UDH 集群管理器管理的 5 个方面,具体操作详见《 iUAP UDH1.0.3 操作手册》。

到此处 UDH 的安装和部署完毕。

首页.jpg

五、 UDH 开启 Hadoop Hbase 集群的 lzo 压缩功

5.1 配置修改 hdfs 服务对应 core-site.xml

5.1.1 配置

  需要添加配置项: io.compression.codecs io.compression.codec.lzo.class

<property>

   <name>io.compression.codecs</name>

<value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec</value>

</property>

<property>  

                              <name>io.compression.codec.lzo.class</name>  

                    <value>com.hadoop.compression.lzo.LzoCodec</value>  

</property>

 

  对应 UDH web 界面上的修改如下(以 io.compression.codec.lzo.class 为例):

  A hdfs 服务配置界面

clipboard

  B 、单击添加属性

clipboard

  C 、添加   io.compression.codec.lzo.class 属性

clipboard

注意: lzo.class 的值为 com.hadoop 而不是 org.hadoop ,如果在 UDH 上配置为 org.hadoop 在使用 lzo 压缩功能时会报找不到该类。  

保存以上修改并在 UDH 上重启 HDFS 服务。

5.2 配置修改 MapReduce2 服务对应 mapred-site.xml

5.2.1 配置

  需要添加配置项: mapred.compress.map.output mapred.map.output.compression.codec

<property>

                  <name>mapred.compress.map.output</name>

                  <value>true</value>

</property>

<property>            

                  <name>mapred.map.output.compression.codec</name>              

                  <value>com.hadoop.compression.lzo.LzoCodec</value>            

</property>  

对应 UDH web 界面上的修改如下(以 mapred.compress.map.output 为例):

A mapreduce 服务配置界面

clipboard

B 、添加 mapred.compress.map.output 属性

clipboard

保存以上修改并在 UDH 上重启 MapReduce2 服务。

5.3 Hadoop lzo 功能测试

5.3.1 验证

UDH 集群的任意一节点上,上传一个文本文件到 hdfs 上,执行 mapreduce wordcount 测试,从日志中可以发现 lzo 加载成功。

clipboard

              LZO 对比 Hbase 默认的 Gzip ,前者性能比较高,后者压缩比较高,对与想提高 Hbase 读写性能的用户,采用 LZO 压缩是比较好的选择。

    创建启用 LZO 压缩的 hbase 表:

                create 'test',{NAME=>'f1',COMPRESSION=>'lzo'}  

Attachments:

UDH v1.0.3离线安装指南.docx (application/vnd.openxmlformats-officedocument.wordprocessingml.document)