知识库 : UDH SDK开发使用说明

Edit Document

UDH SDK 开发使用 说明

目录

UDH SDK 开发使用说明

一、概要

二、配置说明

2.1 spring-hadoop-context.xml

2.2 common.properties

2.3 hadoop.properties

三、实例程序说明

3.1 HDFS 访问( HDFSExample.java )

3.2 HBase 访问( HBaseExample.java )

 

一、概要

为方便基于UDH服务进行 二次开发, AE产品部提供 基于 UDH的SDK开发 包, 这里 就如何部署、使用做下说明 。

UDH SDK 由S pring data for hadoop 组件 和 UDH相关组件 程序包组成,提供基于 Java的 快速开发工具。 目前 各组件 使用 版本 情况 为 :spring - data -2.0.4 、 cdh-5.0.4 , SDK 版本 会随 UDH版本 升级而升级。

二 、 配置 说明

SDK主要 有 四 个配置文件, 依次 为:spring-hadoop-context.xml 、 common.properties 、 hadoop.properties 、 hbase.properties 。

2.1 spring-hadoop-context.xml

项目 的 基础 配置文件,其他 三个 配置文件会在这里 注册。

 

其中 hdfsFactory 和 hbaseTemplate 分别 是 hdfs和hbase的 访问入口 对象 ,这里 注册 为 spring bean对象 ,在应用程序中根据这个 bean id可以 拿到相应的访问 类 实例 。

2.2 common.properties

主要 配置一些全局参数, 根据实际 情况进行配置 , 比如:

如果 要访问 hdfs, 该参数为必配项。

2.3 hadoop.properties

主要 配置一些 hadoop的 一些公共参数,根据实际情况进行配置 , 比如:

hbase.properties 配置hbase的 相关参数, 根据 实际情况进行配置 , 比如:

其中 hbase.rootdir , zookeeper.znode.parent , hbase.zookeeper.quorum , hbase.zookeeper.property.clientPort 为 必配项,其他配置可做适当调整。

三 、 实例 程序说明

3.1 HDFS 访问( HDFSExample .java )

 

其中loader是hdfs的 资源加载器 , 通过它可以进行 hdfs文件 及目录的读写操作 , 它有 hdfs的 工厂类HDFSFactory 构造 ,具体如下:

 

 

HDFS批量 读取文件及目录 、 写操作在HDFSExample .java中 都有说明和实例,这里就不 再 赘述。

3.2 HBase 访问( HBaseExample .java )

 

h template是HB ase 的访问 入口 ,通过 它可以进行 HB ase 的读 写操作 , 它的获取方式如下:

 

 

在 HBaseExample .java 中 还有 提供基于过滤条件查询、全量查询、写数据的示例 代码 ,这里也不再赘述 ,这里 强调一点, HB ase 的 读写 操作尽量 都通过HbaseTemplate 进行,不 推荐自己构建 HT able , 如果使用 HT able ,必须 注意复用及资源 及时 释放 。

如果 需要进行 DDL操作 ,则需要 构建 HBaseAdmin 对象, 如下:

Attachments:

UDH SDK开发使用说明.docx (application/vnd.openxmlformats-officedocument.wordprocessingml.document)