目录
3.1 HDFS 访问( HDFSExample.java )
3.2 HBase 访问( HBaseExample.java )
一、概要
为方便基于UDH服务进行 二次开发, AE产品部提供 基于 UDH的SDK开发 包, 这里 就如何部署、使用做下说明 。
UDH SDK 由S pring data for hadoop 组件 和 UDH相关组件 程序包组成,提供基于 Java的 快速开发工具。 目前 各组件 使用 版本 情况 为 :spring - data -2.0.4 、 cdh-5.0.4 , SDK 版本 会随 UDH版本 升级而升级。
二 、 配置 说明
SDK主要 有 四 个配置文件, 依次 为:spring-hadoop-context.xml 、 common.properties 、 hadoop.properties 、 hbase.properties 。
2.1 spring-hadoop-context.xml
项目 的 基础 配置文件,其他 三个 配置文件会在这里 注册。
其中 hdfsFactory 和 hbaseTemplate 分别 是 hdfs和hbase的 访问入口 对象 ,这里 注册 为 spring bean对象 ,在应用程序中根据这个 bean id可以 拿到相应的访问 类 实例 。
2.2 common.properties
主要 配置一些全局参数, 根据实际 情况进行配置 , 比如:
如果 要访问 hdfs, 该参数为必配项。
2.3 hadoop.properties
主要 配置一些 hadoop的 一些公共参数,根据实际情况进行配置 , 比如:
hbase.properties 配置hbase的 相关参数, 根据 实际情况进行配置 , 比如:
其中 hbase.rootdir , zookeeper.znode.parent , hbase.zookeeper.quorum , hbase.zookeeper.property.clientPort 为 必配项,其他配置可做适当调整。
三 、 实例 程序说明
3.1 HDFS 访问( HDFSExample .java )
其中loader是hdfs的 资源加载器 , 通过它可以进行 hdfs文件 及目录的读写操作 , 它有 hdfs的 工厂类HDFSFactory 构造 ,具体如下:
HDFS批量 读取文件及目录 、 写操作在HDFSExample .java中 都有说明和实例,这里就不 再 赘述。
3.2 HBase 访问( HBaseExample .java )
h template是HB ase 的访问 入口 ,通过 它可以进行 HB ase 的读 写操作 , 它的获取方式如下:
在 HBaseExample .java 中 还有 提供基于过滤条件查询、全量查询、写数据的示例 代码 ,这里也不再赘述 ,这里 强调一点, HB ase 的 读写 操作尽量 都通过HbaseTemplate 进行,不 推荐自己构建 HT able , 如果使用 HT able ,必须 注意复用及资源 及时 释放 。
如果 需要进行 DDL操作 ,则需要 构建 HBaseAdmin 对象, 如下: