UDH MapReduce开发环境 搭建

目录

一、概述

二、需要哪些东西

三、搭建客户端 jdk 环境

四、下载 UDH-SDK

五、修改远端 UDH 集群配置

六、下载远端 UDH 集群配置

七、修改客户端开发环境配置

八、打包 Map 及 Reduce 类

九、客户端调度执行 MapReduce

一 、概述

在 使用UDH 过程 中， 难免 需要 开发M apReduce 程序，鉴于 平时大家都已经习惯使用 E clipse，本文就介绍如何搭建基于 E clipse 的UDH MapReduce的 开发环境。

二 、需要哪些东西

1、     UDH集群

这个可以 是已经搭建好的 远端UDH集群， 也 可以 是本地伪集群。

本文 就以 使用 远端 UDH集群 为例进行说明。

2、     客户端 开发 环境

三、搭建客户端jdk环境

这个 比较简单，没什么可说的， 只 对 JDK版本 要求做下说明：

四 、 下载UDH-SDK

五 、修改 远端UDH集群 配置

1 、在core-site.xml添加 下面配置项（ 非 必须，如果不用 mapred， 需要自己在UDH 集群 中 建立 用户，并赋权） ， 建议通过 UDH Manager管理 界面添加 ， 不然重启服务后，会覆盖已修改配置。

2、 在 HDFS上 建用户目录

$sudo – u hdfs Hadoop fs –mkdir /user/mapred

$ sudo – u hdfs Hadoop fs –chown –R mapred:hadoop /user/mapred

六 、下载 远端UDH集群 配置

从UDH集群 下载 hadoop的 相关配置文件 （ hdfs-site.xml ， mapred-site.xml ， yarn-site.xml ， core-site.xml），并覆盖 UDH-SDK中 的相关文件 。

七 、 修改客户端开发 环境配置

如果 开发坏境是 windows， 需要调整 以下 配置项：

在 mapred-site.xml 里 添加：

八 、 打包M ap 及Reduce类

把 开发的 M ap 及R educe 类 打包，并上传的远端 UDH集群 的 HDFS上 ，比如：

hdfs://namenodehost:8020/user/mapred/lib/mapreducedemo.jar

九 、客户端调度执行 MapReduce

1、     把mapreduce包 加载到执行上下文中：

job.addFileToClassPath(new Path("/user/mapred/lib/mapreducedemo.jar"));

2、     指定 相关用户执行，这里使用前面配置的 mapred。

具体 见下面代码片段：