UDH 之 Hue 使用详解
目录
1. UDH H UE 简介
Hue 是 一个能够与 Hadoop 进行 交互的 Web 应用程序 ,其 特性为 包含 :一个 HDFS 的文件浏览器,一个 MapReduce/YARN 的 Job 浏览器,一个 HBase 的浏览器, 以及 Hive , Pig , Impala 和 Sqoop2 的查询编辑器 , 同 时 , Hue 可利用 Solr 建立客户搜索引擎,利用 Oozie 设置工作流等。
上图 为 Hue 的登录界面, 登录 用户名: hue ,密码为安装 UDH Manager 过程 中 用户所 设置 的密码 。 登录 后界面如下图所示, hue 能够自动 检测 到服务 的错误配置 并 予以提示, 方便 用户修改和测试 ,同时可查看服务配置及服务器日志信息。
Hue 的导航栏主要包括“主页”、“查询编辑器”、“ Data Brower ”、“ Workflow ”、“ File Brower ”、“ Job Brower ”几个部分:
下面将逐一介绍各个部分的简单操作。
2. 查询编辑器
通过“查询编辑器”的下拉菜单可以进入 Hive , Impala , Pig 或者作业设计器的界面。
2.1.Hive&Impala
从“查询编辑器”的下拉菜单进入 Hive 界面后,默认显示“查询编辑器”页签内容:
左边部分显示已建立的数据表情况:表名和列属性等等,点击数据库下的下拉菜单,可选择需要查询的数据库,另外可在数据库下方的输入框内输入要查询的表名,可进一步缩小查找范围,具体如下图所示:
每个表名旁边有两个标志: ,点击眼睛样式的标志连接到 Metastore Manager 界面,可查看所选数据库的详细信息:
点击列表样式的标志可以弹出的窗口方式浏览表格详情:
右边上方的编辑区用于编辑 SQL 语句,执行对数据库的建立和查询等等,编辑好的 SQL 语句通过点击“执行”按钮生效,同时可将需要的语句通过“另存为”按钮设置新的名字和相应的描述并保存 ( 如下图所示 ) 。
与 SQL 语句编辑区对应的下方显示了之前执行过的历史查询,包括时间和具体的查询语句等。
另外,可用过“我的查询”,“保存的查询”,“历史记录”查看相应内容。
Impala 页面与 Hive 页面类似,不再做详细介绍。
2.2.Pig
从“查询编辑器”的下拉菜单进入 Pig 界面后,默认为 Pig 编辑器,可对脚本进行编辑、保存、运行、提交、查看日志等操作。
2.3.作业设计器
从“查询编辑器”的下拉菜单进入“作业设计器”界面后,显示 如下:
从“作业设计器”默认 界面可查看 已 创建的 作业信息 ,包括名称、描述、所有者、 作业 类型、状态 以及 最近一次的修改时间等 等。 点击 任意 一个作业的名称,能够进入 该 作业的 创建 信息页面, 点击 右上角的 “新操作”按钮 可以 开始 设计一个新的工作:
在该按钮 的下拉菜单中可以 选择 不同的 作业 的操作类型 , 说明您需要 建立 的工作是基于哪种操作类型, 我们 以 “ MapReduce ”为例 , 介绍如何 设计一个工作。点击 “ MapReduce ”按钮 ,获得如下界面 :
按 要求 填写 要建立的作业信息 :
注意:由于示例 中为 MapReduce 作业 类型,在 选择 Oozie 参数 时,要添加 oozie.action.mapreduce.uber.jar.enable 项 ,并将该项目的值设置为 true ; 同 时 ,设置 Jar 路径,该 路径为 HDFS 中 存放任务 程序 的 jar 包 路径 。 最后 , 按照 如同 Oozie 的 workflow.xml 内容 中的 设置 定义 属性 ,如 map 、 reduce 类 ,以及输入 输出 路径等 等, 请将各路径设置为绝对路径,方便进程查找。 设置好 各个项目之后点击 “保存”,在“作业设计器”主界面 可以看到该 作业 信息, 点击上方 的 “提交”按钮 提交作业, 页面 跳转至作业的工作进度 ( 如 下图 ) , 在此页面可以查看 工作 的状态和进度,
等待 工作完成后出现如下 界面 ,可 从红框区 部分查看任务的 详细信息 、配置、日志 以及 定义等,帮助查看任务失败的原因等 等 。
3. Data Browser
点击“ Data Browser ”可进入“ Metastore 表”,“ HBase ”,“ Zookeeper ”三种页面。
3.1. Metastore表
如上图可见, Metastore 表能够查看数据库中已创建的表,同时也可创建新表,从文件中创建或者手动创建,从文件中创建需要以下步骤:
选择文件:输入表名、描述、输入文件路径。
选择分隔符
定义列,主要是定义列的类型。
之后便可完成创建。
手动创建则相对复杂,需要手动的输入表名、文件格式、分隔符、存储位置、列信息等等,用户按照向导制表即可,这里不再详细介绍。
Metastore 表右侧显示了已创建的表,点击任意一个表可进入该表的详情界面,与 Hive&Impala 界面点击眼睛样式图表进入的浏览界面相同,在此界面可对数据表执行以下操作:
导入数据:可选择具体的导入路径从外部文件中进行导入;
浏览数据:进入 Hive 编辑界面进行浏览;
删除当前表;
查看文件位置:即进入 File Brower 查看该表在 HDFS 中的位置。
3.2. HBase
从“ Data Browser ”下拉菜单进入 HBase 界面,可以看到已创建的 HBase 数据表,同时右上角显示有“新建表”的按钮。
1 、浏览已创建表
从“ Table Name ”列表点击进入一个表可查看该表行与列的具体信息(如下图),白框红字显示行的信息,绿框白字显示列的信息。可通过输入框输入筛选语句对表的内容进行过滤显示,同时,页面右侧可设置表的升序或者降序排列显示。
点击其中一个分量,可对该分量值进行编辑:
该页面的右下角有“删除行”、“ “新建行”的按钮,可用于对当前表删除或新建一行;另外,“批量上传”按钮可支持对一个表元素批量的上传外部文件。
2 、新建表
点击“新建表”按钮,弹出创建新表的对话框,输入表名并按需要添加“列族”,然后提交:
提交之后能够在 HBase Browser 界面的“ Table Name ”列表中看到刚刚建立的“ MyTable ” :
点击表名进入该表编辑页面,点击右下角的“新建行”按钮,创建该表的数据,注意,“添加字段”中输入列信息时,需要以“列:列名”这样的格式填写,才能令创建生效,如下图示例所示:
点击“ Submit ”按钮即将数据提交,生成如下所示的表信息,供用户浏览,与浏览已创建表格相同,白框红字显示行的信息,绿框白字显示列的信息。
除此之外,还可以通过外部文件上传数据表,但是外部文件的格式需要有一定的规范,如图中所示 :
即需要将表名、列名、行名都标注清楚,已上图格式写入文本文件中方可成功导入 HBase 表中:
点击其中一个分量,可对该分量值进行编辑:
3.3. Zookeeper
从“ Data Browser ”下拉菜单点击进入“ Zookeeper ”可查看 Zookeeper 的配置和运行情况,各个节点的角色、平均延迟、监视计数、版本号等等。
点击“ Znode ”层次结构可进一步查看更加详尽的运行状态:
点击每个主机名可进入每个主机的运行状况列表中:
4. Workflow
4 .1.控制面板
如图,点击“ Wrkflow ”下拉菜单的“控制面板”就进入 Oozie 控制面板,在该界面可以查看正在运行或者已经完成的工作,针对每一项工作都会显示一些具体的工作信息如工作名称,提交者,创建日期,工作 ID 等等。上图红框显示已成功完成的工作任务,如右上角所示,若工作正在进行或者已停止,会分别以黄色和红色的颜色长方条框显示在工作的“状态”部分。
右边的状态栏 ( 如上图 ) 可以被点击从而对显示的信息进行筛选,如点击“成功”按钮,仅显示已成功完成的工作列表,点击“ 1 ”,仅显示一天内的工作列表。
4.2.编辑器
如图,点击“ Wrkflow ”下拉菜单的“编辑器”就进入 Oozie 编辑器,
点击右边的“创建”按钮可新建一个 Workflow :
保存后进入如下页面:
通过拖拽可将需要的工作任务类型放入 start-end 中间的区域 , 例如将 MapReduce 任务拖拽进该区域,出现如下图表,编辑图表,填写入相应的任务名称、描述、 Jar 名称、文件路径等等信息,此处需要 填写的内容与 “工作 设计器 ”下 设计工作任务要填写的内容相同,可参照填写,这里不再赘述,填写完毕后 点击“已完成”提交创建的 workflow 。
设定好作业类型,可通过左边的操作项提交、计划、导入或导出 workflow 。
另外 ,可在 创建 workflow 之后 ,拖拽 工作操作 类型 点击页面 左侧的 “导入 操作 ”按钮 ,则可以链接到工作设计器 :
可从 工作设计器或者 Oozie 控制面板 中导入操作 , 导入后,点击保存 同时 提交作业,查看作业 情况 与工作设计器部分的操作 相似 ,不再 具体介绍 。
5. FileBrowser
进入 File Browser 可浏览和 管理 HDFS ,可通过 上 方 的按钮对文件或目录进行重命名、移动、复制、 更改 权限、下载、删除等,同 时 可利用 右边的按钮上传或新建文件。
6. Job Browser
JobBrowser 用户 查看 已 执行工作的具体情况,如 工作 ID ,名称,状态,时间等 等 。
点击 每一个工作名称都能进入该工作的详情页面:
方便 用户查看工作状态。
7. 其他
Hue 还提供 其他的一些操作,如 “ hue ” 下拉菜单里的编辑配置文件、管理用户等
“ 编辑配置文件 ” 用于 设置 Hue 的用户 、组以及权限等 ;
“ 管理用户 ” 用 于 查看 用户 信息 以及 添加用户。
其他标志 分别为 :
文档 用 于 链接到 Hue 的 帮助文档 :
演示 教程,用户导览 到 如下界面:
注销
Attachments:
UDH之HUE使用详解.docx (application/vnd.openxmlformats-officedocument.wordprocessingml.document)