2相关理论综述
2.1 ETL数据抽取
2.1.1 ETL 概述
ETL即数据抽取、转换、装载的过程，作为BI/DW (Business Intelligence)的核心和灵魂，能够按照统一的规则集成并提高数据的价值，是负责完成数据从数据源向目标数据仓库转化的过程，是实施数据仓库的重要步骤。比较常用的ETL工具主要有：Informatica、IBM Datastage、Microsoft SSIS、Programmingo 在整个项目中最难部分是用户需求分析和模型设计，而ETL规则设计和实施则是工作量最大的，约占整个项目的60%?80%，这是国内外从众多实践中得到的普遍共识。ETL 是数据抽取（EXTRACT)、转换（TRANSFORM)、清洗（CLEANSING)、装载（LOAD)的过程。是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗，最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。共分为三大模块：ETL核心模块、日志模块和WEB模块。如图2-1所示：
(1) ETL核心模块ETL核心模块是整个ETL工具的核心，它主要的功能是根据事先定义好的规则将源数据库的数据抽取到目标数据库。其主要工作流程是：数据抽取一> 转换一> 数据清洗一>数据加载ETL工具里的配置数据库必须包含两个方面的数据：1)元数据：元数据主要是指源数据、目标数据库以及可以用于抽取的表、字段等等信息，还有一些相关函数的定义等等。
2)ETL任务信息：ETL任务在我们ETL工具里称作job，job是指一个将数据从源数据库导出，并且按照一定规则导入到目标数据库的过程，ETL任务信息就是指一个job的相关配置信息。
3)日志模块良好的系统最重要的特征之一就是它的差错、容错以及能正确提供系统运行信息的特性。所以日志模块是每个系统必不可少的部分，它设计的优劣直接关系到系统后期维护的成本。日志模块主要包括：程序运行信息、ETL任务（即job)运行失败的円志信息、审计日志、错误告警。
4) WEB模块当我们开发好了 ETL工具后我们需要一个入口，告诉我们设计的ETL工具你具体做什么样的任务。WEB模块的作用就是给用户操作的入口，主要包含以下功能：1)元数据管理：主要是向配置数据库定义源数据库和目标数据库的相关信息。例如：数据库的url，用户名，密码，相关的表以及表里字段信息等等。这些信息很重要，如果没有这些信息，整个ETL作业就是无源之水，根本无法进行。2) ETL任务的配置信息：gjob的配置信息，这个就是定义我们ETL的抽取过程，例如ETL需要抽取的源数据库是那个，抽取哪张表哪些字段、按照什么规则转化数据，清洗数据，最终导入到哪个目标数据库等。
3港口货运统计现状....................................13
3.1港口货运统计现状分析...................................13
3.2当前港口货运统计结构及...................................16
3.3港口货运统计存在的...................................17
4港口货运决策支持系统...................................20
4.1系统功能需求...................................20
4.2系统非功能需求...................................21
4.3信息量与数据属性...................................22
5港口货运决策支持系统设计...................................23
5A 港口货运决策支持系统...................................23
6全文总结与研究展望
6.1论文总结
现代企业要想实现科学、有效管理，必须基于信息化手段。当前各种报表统计工具纷纷涌现，如润乾软件、水晶报表软件等等。但是报表工具只是辅助工具，要想实现数据融合，实现集团级企业的全景视图，实现智能的快速查询等一系列功能，要想真正彻底实现科学的决策支持，必须解决底层的数据问题。本文采用ETL实现不同数据库间数据抽取、整合，采用Cognos实现报表灵活、即时、多维查询及穿透钻取，甚至通过仪表盘等以图形化方式直观的展现数据逻辑。将隐藏在数字后的商业价值深入挖掘，赢得更多商机；将隐含在数据中的管理思想深入体现，将使得决策着快速决策，管理者提高管理水平。本文正是基于以上考虑，在决策支持系统思想的指导下，在实际参与科研项目积累一定项目实践经验基础上，对港口集团统计分析进行深入研究。本文的研究工作和研究成果及意义主要体现在以下几方面：
(1)通过项目实践经验，深入思考了总结了当前港口集团统计系统存在问题及弊端，并针对存在的问题，阅读大量文献资料，探索解决问题的有效途径，为论文研究奠定了理论基础。
(2)仔细分析了港口集团当前的系统构成及组织机构，找出统计存在的难点问题，规范了港口生产业务系统管理，分析为实现集团级数据视图应具备条件，为决策支持研究做基础。
(3)为实现港口集团统计一体化，数据流共享性及互通性，采用基于决策支持系统的思想对统计系统进行了分析与设计。在系统实现的过程中，采用了 ETL工具进行了数据抽取，cognos实现元数据管理。通过指标分析，模型构建，数据整合，数据展现，门户应用过程，最终能使得用户通过统一的访问平台，实现自主即席查询、多维分析、仪表盘等多方式查询，为企业领导提供企业数据的全景视图。
(4)结合本人在港口集团生产系统一统计系统项目实践经验，对项目幵发中统计系统存在的问题进行了总结思考，对港口统计系统有了新的跟高层次的认识，扩展了思路。
