UDH v1.0.3离线安装指南
目录
1.2 设置 ssh 无密码登陆（ server 端到所有节点）
二、 Centos 6.4 搭建本地 YUM 源（ server 节点）
2.3.2 使用 createrepo 命令创建 yum 仓库：
4.3 安装 udh manager server （ cdr-yl-01 ）
4.4 访问 UDH 集群管理器的 UDH-Server Web 页面
4.5.1 Web 安装运行 UDH- 集群安装向导（以下截图为官方手册中复制过来，需根据提示修改）
五、 UDH 开启 Hadoop 和 Hbase 集群的 lzo 压缩功能
5.1 配置修改 hdfs 服务对应 core-site.xml
5.2 配置修改 MapReduce2 服务对应 mapred-site.xml
一、准备工作：系统环境搭建
这里以 4 台机器（ centos 6.4 ）为示例安装，其中 cdr-yl-01 节点安装 udh 的 server 及构建 YUM 服务所在机器，
以下操作均用 root 用户操作。
1.1 网络配置（所有节点）
编辑 /etc/hosts, 修改 ip 与主机名的对应关系
#example
192.168.1.106 cdr-yl-01
192.168.1.107 cdr-yl-02
192.168.1.108 cdr-yl-03
192.168.1.109 cdr-yl-04
1.2 设置 ssh 无密码登陆（ server 端到所有节点）
在主节点上执行 ssh-keygen -t rsa 一路回车，生成无密码的密钥对。
用 ssh-copy-id 把公钥复制到远程主机上
例如 cdr-yl-01 主机到其它 3 节点设置无密码登录
ssh-copy-id -i ~/.ssh/id_rsa.pub root@ cdr-yl-02
ssh-copy-id -i ~/.ssh/id_rsa.pub root@ cdr-yl-0 3
ssh-copy-id -i ~/.ssh/id_rsa.pub root@ cdr-yl-0 4
1.3 关闭防火墙和 SELinux
关闭防火墙：
service iptables stop （临时关闭）
chkconfig iptables off （重启后生效）
关闭 SELINUX ：
setenforce 0 （临时生效）
修改 /etc/selinux/config 下的 SELINUX=disabled （重启后永久生效）
1.4 所有节点配置 NTP 服务
集群中所有主机必须保持时间同步，如果时间相差较大会引起各种问题。 具体思路如下：
master 节点作为 ntp 服务器与外界对时中心同步时间。
这里选择 cdr-yl-01 节点为时钟同步服务器，其他节点为客户端同步时间到该节点。
详细配置见《 iUAP UDH v1.0.3 安装指南》 2.3 章节内容。
Ntpd 启动的时候通常需要一段时间大概 5 分钟进行时间同步，所以在 ntpd 刚刚启动的时候还不能正常提供时钟服务，报错 ”no server suitable for synchronization found” 。启动时候需要等待 5 分钟。
二、 Centos 6.4 搭建本地 YUM 源（ server 节点）
2.1 准备工作
下载或拷贝 CentOS 或 RedHat 的 iso 镜像到本地
CentOS-6.4-x86_64-bin-DVD1.iso
CentOS-6.4-x86_64-bin-DVD2.iso
2.2 挂载 iso 镜像
2.2.1 #创建2个挂载目录
mkdir -p /mnt/cdrom{1,2}
2.2.2 #挂载iso
直接编辑 /etc/fstab 文件（编辑请请备份），在后面添加：
/usr/local/src/CentOS-6.4-x86_64-bin-DVD1.iso /mnt/cdrom1 iso9660 loop,defaults 0 0
/usr/local/src/CentOS-6.4-x86_64-bin-DVD2.iso /mnt/cdrom2 iso9660 loop,defaults 0 0
2.2.3 #激活挂载
执行 mount -a 自动检测并激活挂载，若未报错，执行 df -h 即可看到结果。
mount -a
2.3 配置 http 服务（所有的 rpm 包）
2.3.1安装http服务，
在 /var/www/html/ 下新建 rhel 目录并将挂载后目录的所有 rpm 文件建立软连接
mkdir /var/www/html/rhel
ln -s /mnt/cdrom1/Packages/ /var/www/html/rhel/Packages1
ln -s /mnt/cdrom2/Packages/ /var/www/html/rhel/Packages2
2.3.2 使用createrepo命令创建yum仓库：
cd /var/www/html/rhel
createrepo .
2.3.3 启动http服务
/etc/init.d/httpd start
2.4 配置并刷新 yum 仓库（所有节点）
2.4.1 新增yum配置文件
Ps ：完全离线使用，新增之前建议先删除 ( 移走 ) 所有在线 yum 源： mv -f /etc/yum.repos.d/* /tmp/
vim /etc/yum.repos.d/ udh_ rhel.repo
[rhel-yum]
name=Rhel Repository
baseurl=http://192.168.1.106/rhel
enabled=1
gpgcheck=0
2.4.2 刷新查看yum是否生效：
yum clean all && yum list
以上要是没要报错，那么本地 yum 仓库就搭建好了，就可以使用【 yum install 软件名】来安装所需软件，而不需要联网了。
三、搭建 UDH 本地 YUM 源（ server 节点）
3.1 准备工作
下载 udh-1.0.3.tar.gz
3.2 配置 http 服务
在 /var/www/html/ 下新建 udh 目录
mkdir /var/www/html/udh
解压 udh-1.0.3.tar.gz 到 /var/www/html/udh 目录下
cd /var/www/html/udh
tar fzx udh-1.0.3.tar.gz
使用 createrepo 命令创建 yum 仓库：
createrepo .
重启 http 服务
/etc/init.d/httpd restart
3.3 配置并刷新 yum 仓库（所有节点）
3.3.1 新增yum配置文件
vim /etc/yum.repos.d/udh.repo
[udh-yum]
name=Udh Repository
baseurl=http://192.168.1.106/udh
enabled=1
gpgcheck=0
3.3.2 刷新查看yum是否生效：
yum clean all && yum list
以上要是没要报错，那么本地 udh 仓库就搭建好了，就可以使用【 yum install 软件名】来安装所需软件。
四、开始安装 UDH
4.1 环境说明
|
IP 地址 |
主机名 |
安装的服务 |
|
192.168.1.106 |
cdr-yl-01 |
manager-server,manager-agent,namenode,gangliamaster(gmeted),datanode,nodemanager,hbase regionserver,zookeeper-serve |
|
192.168.1.107 |
cdr-yl-02 |
manager-agent,secondarynamenode,historyserver,datanode,nodemanager,hbas e regionserver,solr-server,lilyserver,zookeeper-server,client |
|
192.168.1.108 |
cdr-yl-03 |
manager-agent,resourcemanager,nagiosserver,datanode,nodemanager,hbase regionserver,solr-server,lily server,zookeeper-server |
|
192.168.1.109 |
cdr-yl-04 |
manager-agent,hbasemaster,hueserver,datanode,nodemanager,hbase regionserver,solr-server,lily server,zookeeper-server |
4.2 准备工作
在 3.3 中已经搭建了 udh 的本地 yum 源，该 yum 源里已经存在 manager-server 与 manager-agent 包。
4.3 安装 udh manager server （ cdr-yl-01 ）
4.3.1 安装
yum install manager-server -y
替换 jdk 路径（注意修改对应的 ip 地址）
Sed -i 's/jce_policy1.7.url\=.*/jce_policy1.7.url\=http:\/\/192.168.1.106\/udh\/Utils\/UnlimitedJCEPolicyJDK7.zip/' /etc/ambari-server/conf/ambari.properties
sed -i 's/jdk1.7.url\=.*/jdk1.7.url\=http:\/\/192.168.1.106\/udh\/Utils\/jdk-7u45-linux-x64.tar.gz/' /etc/ambari-server/conf/ambari.properties
4.3.2 初始化UDH Manager Server
manager-server setup
执行上述命令后，会有相关的提示信息，全部回车即可。
4.3.3启动 UDH Manager Server
manager-server start
4.4 访问 UDH 集群管理器的 UDH-Server Web 页面
访问 http:// 192.168.1.106:8080 进入 UDH Manager 安装页面
初始登录用户名为 admin , 密码为 admin 。
4.5 安装运行 UDH Manager Agent
U dh agent 提供了手动和自动安装方式，这里直接从 web 端自动安装。
4.5.1 Web 安装运行 UDH- 集群安装向导（以下截图为官方手册中复制过来，需根据提示修改）
在浏览器中输入 http:// 192.168.1.106:8080 输入登录用户、密码。进入到 UDH 集群管理器的欢迎界面。如下所示
4.5.2 进入“选择服务栈”
本版本中 Stack 类型只有 UDH 1.0.3 。
点击“高级库选项”。用于设置 yum 安装源，用于下载 UDH 安装所需要的包。如果当前集群不能连接上互联网，需要设置一个本地的安装源。
注：此处产品默认源为 http://172.16.50.70:8081/nexus/content/repositories/udh 因此需要修改为 http://192.168.1.106/udh
再点击下一步
4.5.3进入“安装选项”
这里目标主机填 cdr-yl- 0[1-4]
私钥为 cdr-yl- 01 主机上 /root/.ssh/id_rsa 文件 复制该文件里的内容粘贴到 ssh 秘钥框
然后点注册并确认。
4.5.4进入“确认主机”
在这一步中首先是在每个节点上安装 UDH-agent, 然后是注册各个节点。如果在安装时失败，请先检查下 UDH-server 是否可以免密码登陆到各个节点。如果是在注册时出错，请检查 ntpd 是否已经同步。
4.5.5进入“选择服务”
可以自由选择需要在集群中安装的服务，这里安装上述安装环境说明来选择服务。
4.5.6分配 Masters
为每个服务分配节点。
同上根据安装环境说明来分配节点
4.5.7 分配 Slaves 和 Clients
选择节点作为 Slave 和 Client ，同样根据环境安装说明勾选
4.5.8 进入“自定义服务”
在这个页面中允许配置各个服务的参数。
带标识的为必填项， hive 必须填写数据库密码（可以更改用户名）， oozie 必须填写数据库密码（可以更改用户名）， nagios 必填项为两项，如下：
4.5.9 复查
在正式安装之前确认各个配置
4.5.10 安装启动和测试
安装已配置好的服务，并启动服务。
【消息】记录了当前各个节点正在安装的服务，点击它的链接，可以查看每个节点服务的详细安装情况。
4.5.11 进入“概要”
至此所有安装步骤已完成 单击完成 即 udh 集群已安装完毕并能使用 udh 管理所有 Hadoop 相关组件。
4.6 进入 UDH 管理界面
在首页中，可以看到有一个包含有“仪表板”、“热图”、“服务”、“主机”、“管理” 5 个页签的菜单栏。
这 5 个页签代表着 UDH 集群管理器管理的 5 个方面，具体操作详见《 iUAP UDH1.0.3 操作手册》。
到此处 UDH 的安装和部署完毕。
五、 UDH 开启 Hadoop 和 Hbase 集群的 lzo 压缩功 能
5.1 配置修改 hdfs 服务对应 core-site.xml
5.1.1 配置
需要添加配置项： io.compression.codecs 、 io.compression.codec.lzo.class
<property>
<name>io.compression.codecs</name>
<value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,com.hadoop.compression.lzo.LzoCodec,com.hadoop.compression.lzo.LzopCodec</value>
</property>
<property>
<name>io.compression.codec.lzo.class</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
对应 UDH web 界面上的修改如下（以 io.compression.codec.lzo.class 为例）：
A 、 hdfs 服务配置界面
B 、单击添加属性
C 、添加 io.compression.codec.lzo.class 属性
注意： lzo.class 的值为 com.hadoop 而不是 org.hadoop ，如果在 UDH 上配置为 org.hadoop 在使用 lzo 压缩功能时会报找不到该类。
5.2 配置修改 MapReduce2 服务对应 mapred-site.xml
5.2.1 配置
需要添加配置项： mapred.compress.map.output 、 mapred.map.output.compression.codec
<property>
<name>mapred.compress.map.output</name>
<value>true</value>
</property>
<property>
<name>mapred.map.output.compression.codec</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
对应 UDH web 界面上的修改如下（以 mapred.compress.map.output 为例）：
A 、 mapreduce 服务配置界面
B 、添加 mapred.compress.map.output 属性
保存以上修改并在 UDH 上重启 MapReduce2 服务。
5.3 Hadoop 的 lzo 功能测试
5.3.1 验证
在 UDH 集群的任意一节点上，上传一个文本文件到 hdfs 上，执行 mapreduce wordcount 测试，从日志中可以发现 lzo 加载成功。
LZO 对比 Hbase 默认的 Gzip ，前者性能比较高，后者压缩比较高，对与想提高 Hbase 读写性能的用户，采用 LZO 压缩是比较好的选择。
创建启用 LZO 压缩的 hbase 表：
create 'test',{NAME=>'f1',COMPRESSION=>'lzo'}
