知识库 : UDH之HUE使用详解

Edit Document

UDH Hue 使用详解

目录

1.               UDH HUE 简介

2.               查询编辑器

2.1.Hive&Impala

2.2.Pig

2.3. 作业设计器

3. Data Browser

3.1.Metastore

3.2.HBase

3.3.Zookeeper

4.               Workflow

4.1. 控制面板

4.2. 编辑器

5.               FileBrowser

6.               JobBrowser

7.               其他

1.   UDH H UE 简介

Hue 一个能够与 Hadoop 进行 交互的 Web 应用程序 ,其 特性为 包含 :一个 HDFS 的文件浏览器,一个 MapReduce/YARN Job 浏览器,一个 HBase 的浏览器, 以及 Hive Pig Impala Sqoop2 的查询编辑器 Hue 可利用 Solr 建立客户搜索引擎,利用 Oozie 设置工作流等。

 

 

上图 Hue 的登录界面, 登录 用户名: hue ,密码为安装 UDH Manager 过程 用户所 设置 的密码 登录 后界面如下图所示, hue 能够自动 检测 到服务 的错误配置 予以提示, 方便 用户修改和测试 ,同时可查看服务配置及服务器日志信息。

 

              Hue 的导航栏主要包括“主页”、“查询编辑器”、“ Data Brower ”、“ Workflow ”、“ File Brower ”、“ Job Brower ”几个部分:

 

 

下面将逐一介绍各个部分的简单操作。

2.   查询编辑器

 

通过“查询编辑器”的下拉菜单可以进入 Hive Impala Pig 或者作业设计器的界面。

2.1.Hive&Impala

从“查询编辑器”的下拉菜单进入 Hive 界面后,默认显示“查询编辑器”页签内容:

 

左边部分显示已建立的数据表情况:表名和列属性等等,点击数据库下的下拉菜单,可选择需要查询的数据库,另外可在数据库下方的输入框内输入要查询的表名,可进一步缩小查找范围,具体如下图所示:

 

    

 

每个表名旁边有两个标志: ,点击眼睛样式的标志连接到 Metastore Manager 界面,可查看所选数据库的详细信息:

 

 

点击列表样式的标志可以弹出的窗口方式浏览表格详情:

 

 

右边上方的编辑区用于编辑 SQL 语句,执行对数据库的建立和查询等等,编辑好的 SQL 语句通过点击“执行”按钮生效,同时可将需要的语句通过“另存为”按钮设置新的名字和相应的描述并保存 ( 如下图所示 )

 

SQL 语句编辑区对应的下方显示了之前执行过的历史查询,包括时间和具体的查询语句等。

另外,可用过“我的查询”,“保存的查询”,“历史记录”查看相应内容。

Impala 页面与 Hive 页面类似,不再做详细介绍。

2.2.Pig

从“查询编辑器”的下拉菜单进入 Pig 界面后,默认为 Pig 编辑器,可对脚本进行编辑、保存、运行、提交、查看日志等操作。

 

2.3.作业设计器

从“查询编辑器”的下拉菜单进入“作业设计器”界面后,显示 如下:

 

             

从“作业设计器”默认 界面可查看 创建的 作业信息 ,包括名称、描述、所有者、 作业 类型、状态 以及 最近一次的修改时间等 等。 点击 任意 一个作业的名称,能够进入 作业的 创建 信息页面, 点击 右上角的 “新操作”按钮 可以 开始 设计一个新的工作:

 

             

在该按钮 的下拉菜单中可以 选择 不同的 作业 的操作类型 说明您需要 建立 的工作是基于哪种操作类型, 我们 MapReduce ”为例 介绍如何 设计一个工作。点击 MapReduce ”按钮 ,获得如下界面

             

              要求 填写 要建立的作业信息

             

注意:由于示例 中为 MapReduce 作业 类型,在 选择 Oozie 参数 时,要添加 oozie.action.mapreduce.uber.jar.enable ,并将该项目的值设置为 true ,设置 Jar 路径,该 路径为 HDFS 存放任务 程序 jar 路径 最后 按照 如同 Oozie workflow.xml 内容 中的 设置 定义 属性 ,如 map reduce ,以及输入 输出 路径等 等, 请将各路径设置为绝对路径,方便进程查找。 设置好 各个项目之后点击 “保存”,在“作业设计器”主界面 可以看到该 作业 信息, 点击上方 “提交”按钮 提交作业, 页面 跳转至作业的工作进度 ( 下图 ) 在此页面可以查看 工作 的状态和进度,

             

等待 工作完成后出现如下 界面 ,可 从红框区 部分查看任务的 详细信息 、配置、日志 以及 定义等,帮助查看任务失败的原因等

3. Data Browser

             

              点击“ Data Browser ”可进入“ Metastore 表”,“ HBase ”,“ Zookeeper ”三种页面。

3.1. Metastore表

             

如上图可见, Metastore 表能够查看数据库中已创建的表,同时也可创建新表,从文件中创建或者手动创建,从文件中创建需要以下步骤:

         选择文件:输入表名、描述、输入文件路径。

 

         选择分隔符

         定义列,主要是定义列的类型。

之后便可完成创建。

              手动创建则相对复杂,需要手动的输入表名、文件格式、分隔符、存储位置、列信息等等,用户按照向导制表即可,这里不再详细介绍。

Metastore 表右侧显示了已创建的表,点击任意一个表可进入该表的详情界面,与 Hive&Impala 界面点击眼睛样式图表进入的浏览界面相同,在此界面可对数据表执行以下操作:

         导入数据:可选择具体的导入路径从外部文件中进行导入;

 

         浏览数据:进入 Hive 编辑界面进行浏览;

          

 

         删除当前表;

         查看文件位置:即进入 File Brower 查看该表在 HDFS 中的位置。

 

 

3.2. HBase

 

从“ Data Browser ”下拉菜单进入 HBase 界面,可以看到已创建的 HBase 数据表,同时右上角显示有“新建表”的按钮。

1 、浏览已创建表

              从“ Table Name ”列表点击进入一个表可查看该表行与列的具体信息(如下图),白框红字显示行的信息,绿框白字显示列的信息。可通过输入框输入筛选语句对表的内容进行过滤显示,同时,页面右侧可设置表的升序或者降序排列显示。

 

 

点击其中一个分量,可对该分量值进行编辑:

 

              该页面的右下角有“删除行”、“ “新建行”的按钮,可用于对当前表删除或新建一行;另外,“批量上传”按钮可支持对一个表元素批量的上传外部文件。

 

 

2 、新建表

              点击“新建表”按钮,弹出创建新表的对话框,输入表名并按需要添加“列族”,然后提交:

 

 

              提交之后能够在 HBase Browser 界面的“ Table Name ”列表中看到刚刚建立的“ MyTable :

 

 

点击表名进入该表编辑页面,点击右下角的“新建行”按钮,创建该表的数据,注意,“添加字段”中输入列信息时,需要以“列:列名”这样的格式填写,才能令创建生效,如下图示例所示:

 

 

              点击“ Submit ”按钮即将数据提交,生成如下所示的表信息,供用户浏览,与浏览已创建表格相同,白框红字显示行的信息,绿框白字显示列的信息。

 

             

除此之外,还可以通过外部文件上传数据表,但是外部文件的格式需要有一定的规范,如图中所示 :

 

 

              即需要将表名、列名、行名都标注清楚,已上图格式写入文本文件中方可成功导入 HBase 表中:

 

 

点击其中一个分量,可对该分量值进行编辑:

 

3.3. Zookeeper

从“ Data Browser ”下拉菜单点击进入“ Zookeeper ”可查看 Zookeeper 的配置和运行情况,各个节点的角色、平均延迟、监视计数、版本号等等。

 

 

点击“ Znode ”层次结构可进一步查看更加详尽的运行状态:

 

              点击每个主机名可进入每个主机的运行状况列表中:

 

4.   Workflow

4 .1.控制面板

 

如图,点击“ Wrkflow ”下拉菜单的“控制面板”就进入 Oozie 控制面板,在该界面可以查看正在运行或者已经完成的工作,针对每一项工作都会显示一些具体的工作信息如工作名称,提交者,创建日期,工作 ID 等等。上图红框显示已成功完成的工作任务,如右上角所示,若工作正在进行或者已停止,会分别以黄色和红色的颜色长方条框显示在工作的“状态”部分。

 

 

右边的状态栏 ( 如上图 ) 可以被点击从而对显示的信息进行筛选,如点击“成功”按钮,仅显示已成功完成的工作列表,点击“ 1 ”,仅显示一天内的工作列表。

4.2.编辑器

如图,点击“ Wrkflow ”下拉菜单的“编辑器”就进入 Oozie 编辑器,

 

 

              点击右边的“创建”按钮可新建一个 Workflow

             

保存后进入如下页面:

 

             

              通过拖拽可将需要的工作任务类型放入 start-end 中间的区域 , 例如将 MapReduce 任务拖拽进该区域,出现如下图表,编辑图表,填写入相应的任务名称、描述、 Jar 名称、文件路径等等信息,此处需要 填写的内容与 “工作 设计器 ”下 设计工作任务要填写的内容相同,可参照填写,这里不再赘述,填写完毕后 点击“已完成”提交创建的 workflow

 

             

设定好作业类型,可通过左边的操作项提交、计划、导入或导出 workflow

 

 

              另外 ,可在 创建 workflow 之后 ,拖拽 工作操作 类型 点击页面 左侧的 “导入 操作 ”按钮 ,则可以链接到工作设计器

 

 

              可从 工作设计器或者 Oozie 控制面板 中导入操作 导入后,点击保存 同时 提交作业,查看作业 情况 与工作设计器部分的操作 相似 ,不再 具体介绍

5.   FileBrowser

进入 File Browser 可浏览和 管理 HDFS ,可通过 的按钮对文件或目录进行重命名、移动、复制、 更改 权限、下载、删除等,同 可利用 右边的按钮上传或新建文件。

 

6.   Job Browser

JobBrowser 用户 查看 执行工作的具体情况,如 工作 ID ,名称,状态,时间等

 

             

              点击 每一个工作名称都能进入该工作的详情页面:

 

 

              方便 用户查看工作状态。

7.   其他

Hue 还提供 其他的一些操作,如 hue 下拉菜单里的编辑配置文件、管理用户等

         编辑配置文件 用于 设置 Hue 的用户 、组以及权限等

         管理用户 查看 用户 信息 以及 添加用户。

 

              其他标志 分别为

         文档 链接到 Hue 帮助文档

 

         演示 教程,用户导览 如下界面:

         注销

 

Attachments:

UDH之HUE使用详解.docx (application/vnd.openxmlformats-officedocument.wordprocessingml.document)
UDH之HUE使用详解.docx (application/vnd.openxmlformats-officedocument.wordprocessingml.document)