知识库 : 数据集成竞品分析

Edit Document
功能AE DIPowerCenterDataStageBO Data Service普元Oracle ODI
支持数据源类型支持Excel,XML等文本文件 Gbase DB2 MSSQL Server MySQL Oracle PostgreSQL 通过数据源管理支持以JDBC方式扩展数据源类型对主流数据库Oracle,MSSQL,DB2均提供支持,但没有对mysql和postgre的支持,但可通过ODBC支持其他数据库。除此之外对JMS,MSQL等消息队列也被当作一种数据库类型。其他的是一些Informatic自己的产品(例如Power Exchange)和一些国内不常见的数据库或者第三方系统(Teradata,TIBCO,Siebel)。 支持平面文件、xml文本文件的输入和输出,支持Cobol文件输入。 支持webservice的输入和输出。文本文件 XML 文件 企业应用程序,比如 SAP 、PeopleSoft 、Siebel 、Oracle Application 几乎所有的数据库系统,比如 DB2 、Oracle 、SQL Server 、Sybase ASE/IQ 、Teradata 、Informix 以及可通过 ODBC 连接的数据库等 Web Services SAS 、WebSphere MQDB2 HANA Informix MSSQL Server MySQL Netezza Oracle Sybase ASE Teradata与Kettle相同,额外支持了国产数据库类型 达梦DM7 人大金仓KingbaseES V7 神舟通用神数据库7.0对数据源和目标数据库支持比较广泛:如DB2, Informix, Oracle, Sybase, Teredata, SAS, SAP, FTP,JMS, Hive,Axis2,JavaScript这里列举了部分比较常用的。平面文件Text、Excel、XML等。 支持与JMS消息中间件的集成,支持Web Service。
数据清洗能力(种类多少,覆盖)35种转换。基本囊括了主流DI工具的转换功能。 同时,可根据项目需要,提供特殊的转换组件。有27种内置转换器,除了表达式和调用外部过程外,其他均能在iUAP DI中实现。提供30多种转换,提供了400多种内建函数与程序,供开发人员选取使用。1.数据转移 用于把数据转到其他表或者文件中。 2.日期生成 按照规则生成日期数据 3.展平 把某一列按照一定规则展开 4.主键生成 为某张表生成主键并定义自增规则 5.历史保持 在输入集里为标记为更新的数据创造一条新数据 6.列转行 把指定列的值转成行 7.行转列 把指定行的值转成列 8.表对比 对比两种表的不同处 9.Case 根据定义的不同分支决定后续的执行流程 10.合并 多个数据输入合并到一个数据输出 11.查询 根据自定义的查询条件得到想要的输出 12.行生成 增加一列并且定义自增长规则 13.SQL脚本 执行自定义的SQL脚本 14.校验 根据自定义规则校验输入数据的合法性20多种转换,与Kettle相同基本上都支持,需要配置,操作复杂。
管理调度能力(模型的管理,调度监控,日志等)提供作业的调度设置,运行监控,性能监控等调度设置基本与iUAP DI的调度设置一样; 在调度历史中可以查看日志,可以以任务视图和甘特图两种方式展示。提供作业的调度设置,运行监控,性能监控等模型管理:使用作业作为基本调度单位, 作业可包括工作流和数据流, 工作流也可包括子工作流和数据流, 数据流包括各类转换器。 调度监控:在统一的管理界面进行调度管理,可以设置作业调度的周期以及调度的Server.调度的日志也会同时显示。1.不局限于普元的作业,可以调度多种作业,只需要指定程序所在位置即可。 2.可以设置作业的依赖关系。 3.事件调度:目前为“文件到达”事件触发。有基于时间的灵活调度机制,支持并发调度。 可以查看流程确定依赖关系 支持性能监控,执行结果监控 不支持异常数据处理,只有错误日志,有互斥操作的保护机制 有版本信息,但无版本直接升级的机制 可以直接集成到Oracle WebLogic中。 不支持对计算机资源的管理和分配。 运行时代理还可以支持连接重试机制,能够透明的恢复信息库中运行的会话。
性能如同PowerCenter/BO配置在虚拟机中,性能要比这二者高。 其他,参考测试基准。由于安装在虚拟机中,配置较低,每秒只能传输几千条数据。DataStage软件较为庞大,虚拟机环境运行不理想,需要较高的硬件配置。 性能方面:并行处理能力较为强大。由于在虚拟机里受条件限制,测试处理速度为4000条/s暂无。1.代理支持并行处理和负载均衡 2.通过利用现有的数据库和数据库专业知识,ODI提供无与伦比的效率并可降低拥有成本。通过降低网络流量并在包含目标表的数据库中转换数据,E-LT架构可以最大限度提供性能。
开放性处理组件和数据源类型都支持开发扩展powerCenter可以调用其他的程序,脚本等,可以自定义函数,可以自定义转换Mpplet 没有找到有关代码扩展的说明对元数据管理部分支持出色,能够动态地与元数据管理工具建立关联,能够做到与元数据管理版本一致。1.调度平台可支持第三方作业的调度。 2.支持JavaScript代码。1.11g版本中增加了对OLAP、SAP和新API的支持。 2.结合了三种数据集成:基于数据的集成、基于事件的集成、基于服务的集成。凭借先进的“更新数据库捕获”实时处理事件,为Oracle SOA提供数据服务。
数据质量支持数据的规则匹配 支持模型之间依赖关系分析Informatica其他的产品实现,powerCenter不体现支持,提供多个质量Stage。-----——Oracle Data Profiling是数据调查和质量监控工具。允许商业用户通过指标来发现数据中质量。 Oracle Data Quality创建数据质量处理来清理文件中包含的不正确和不完整的名称和地址。
特色功能(专有特性,如集成业务系统数据字典等功能)支持AE元数据和NC元数据的抽取。拥有独特的开发脚本语言,用户能自定义函数; 可以对设计的转换和工作流进行版本管理; 集成了PeopleSoft数据字典并行处理能力:DataStage使用分区处理技巧,将大型的整合工作切割为分区(“分割并行处理”)并将这些分区同时传送给所有处理器(“管道并行处理”)。管道与分区并行处理的组合可提供完整的并行处理功能(效能提升与处理器数量成正比),并让硬件成为性能的唯一决定性因素。 提供了400多种内建函数与程序,供开发人员选取使用。可以自定义format与function, 调度执行的Server可单独部署 可自定义数据质量转换器支持空间数据库组件ArcGis/支持SAP ERP系统组件/支持校验列生成组件/支持Java/支持多个国产数据/支持大数据1.主动集成,提供实现实时数据仓库和操作型数据总线所需的所有关键组件。 2.声明式设计提升开发人员生产力。 3.知识模块提供灵活性和可扩展性

 

Attachments:

数据集成竞品分析.xlsx (application/vnd.openxmlformats-officedocument.spreadsheetml.sheet)