知识库 : UDH SDK开发使用说明

Edit Document

UDH SDK 开发使用 说明

目录

UDH SDK 开发使用说明

一、概要

二、配置说明

2.1 spring-hadoop-context.xml

2.2 common.properties

2.3 hadoop.properties

三、实例程序说明

3.1 HDFS 访问( HDFSExample.java

3.2 HBase 访问( HBaseExample.java

 

一、概要

为方便基于UDH服务进行 二次开发, AE产品部提供 基于 UDH的SDK开发 包, 这里 就如何部署、使用做下说明

UDH SDK 由S pring data for hadoop 组件 UDH相关组件 程序包组成,提供基于 Java的 快速开发工具。 目前 各组件 使用 版本 情况 :spring - data -2.0.4 cdh-5.0.4 SDK 版本 会随 UDH版本 升级而升级。

配置 说明

SDK主要 个配置文件, 依次 为:spring-hadoop-context.xml common.properties hadoop.properties hbase.properties

2.1 spring-hadoop-context.xml

项目 基础 配置文件,其他 三个 配置文件会在这里 注册。

 

其中 hdfsFactory hbaseTemplate 分别 hdfs和hbase的 访问入口 对象 ,这里 注册 spring bean对象 ,在应用程序中根据这个 bean id可以 拿到相应的访问 实例

2.2 common.properties

主要 配置一些全局参数, 根据实际 情况进行配置 比如:

如果 要访问 hdfs, 该参数为必配项。

2.3 hadoop.properties

主要 配置一些 hadoop的 一些公共参数,根据实际情况进行配置 比如:

hbase.properties 配置hbase的 相关参数, 根据 实际情况进行配置 比如:

其中 hbase.rootdir zookeeper.znode.parent hbase.zookeeper.quorum hbase.zookeeper.property.clientPort 必配项,其他配置可做适当调整。

实例 程序说明

3.1 HDFS 访问( HDFSExample .java

 

其中loader是hdfs的 资源加载器 通过它可以进行 hdfs文件 及目录的读写操作 它有 hdfs的 工厂类HDFSFactory 构造 ,具体如下:

 

 

HDFS批量 读取文件及目录 写操作在HDFSExample .java中 都有说明和实例,这里就不 赘述。

3.2 HBase 访问( HBaseExample .java

 

h template是HB ase 的访问 入口 ,通过 它可以进行 HB ase 的读 写操作 它的获取方式如下:

 

 

HBaseExample .java 还有 提供基于过滤条件查询、全量查询、写数据的示例 代码 ,这里也不再赘述 ,这里 强调一点, HB ase 读写 操作尽量 都通过HbaseTemplate 进行,不 推荐自己构建 HT able 如果使用 HT able ,必须 注意复用及资源 及时 释放

如果 需要进行 DDL操作 ,则需要 构建 HBaseAdmin 对象, 如下:

Attachments:

UDH SDK开发使用说明.docx (application/vnd.openxmlformats-officedocument.wordprocessingml.document)