1 概述

  ETL,是Extraction-Transformation-Loading的缩写,中文名称为数据抽取、转换、加载。主要功能是负责将分布的、异构数据源中的数据进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为数据分析、决策支持的基础。以下是部分界面截图:

ETL项目设置















TXT条件设置








EXCEL条件设置











源数据库条件设置


 

 

 

通过拖拽进行字段映射


2 应用背景
   信息是现代企业的重要资源,是企业运用科学管理、决策分析的基础。目前,大多数企业花费大量的资金和时间来构建各种系统,用来记录事务处理的各种相关数据。据统计,数据量每年都会成倍的增长,这些数据蕴含着巨大的商业价值,而企业所关注的通常只占在总数据量的2%~4%左右。因此,企业仍然没有最大化地利用已存在的数据资源,以致于浪费了更多的时间和资金,也失去制定关键商业决策的最佳契机。于是,企业如何通过各种技术手段,并把数据转换为信息、知识,已经成了提高其核心竞争力的主要瓶颈。而ETL则是主要的一个技术手段。

3 产品定位
   ETL既可单独部署使用,也可依托于YoungTOP系统,对其提供功能辅助,目的是将企业中的分散、零乱、标准不统一的数据整合到一起,为企业的决策提供分析的依据。
4 产品优势
  (1)基于JAVA技术的平台无关性,使得程序可以运行在不同硬件平台、不同操作系统平台上。
  (2)支持各种数据源,如Oracle、SQL Server、EXCEL、TXT等。

  (3)采用了SOAP技术及TCP/IP传输协议,采集端无需安装中间件,减少了服务间由于消息传递带来的传输性能损失,数据传输更加稳定可靠。
  (4)采集端通过请求的合法性验证,数据采用DES加密传输,确保数据的安全性。
  (5)通过可视化的配置界面可以轻松完成ETL的配置工作(如字段映射、复杂条件过滤等等),配置完成后利用自带的任务管理功能可以自动进行ETL工作,无须人工参与。