数据交换平台
2018-11-01       0


数据交换平台

       通过信息整合平台,实现校内的各种异构数据源的无缝接入,建设全面反映学校教学、科研工作以及师生员工工作、学习和生活的相关数据库,这些数据既要高度集中、又要安全可靠,为数字化校园的建设提供可共享的数据支持;从而改变在新系统建设、系统升级时系统之间所存在的依赖关系,保证各业务系统的正常运行;建立全校唯一的可信信息源,解决因统计口径、统计时间不一致所导致的数据不一致现象;

     在各个业务系统数据库和数据中心之间实现数据源的接入、权威数据源定义、数据交换表的配置、管理和变更。配置数据交换的源和数据交换的目的地,通过数据交换平台,在各个数据源之间实现数据的交换共享,实现数据清洗变换。同时,对数据交换进行监控。

       用户接口是工具图型化的,用户可以通过简单的配置即可实现异构数据和数据交换中心平台的数据同步;且不需要更多的人工干预,数据的解析和清洗等过程由计算机操作;
       可扩展,当有新的应用系统需要同步时,只要将新的系统进行分析,做相应的配置,即可完成数据的同步;
       数据交换平台的主要用户对象是学校的系统管理员。

平台功能

功能概要介绍

数据源支持

1)     关系型数据源:Oracle、Sql Server、DB2、MySql、Sybase、Informix、PostgreSQL;

2)     文件数据源:DBF、Access、Excel、XML、Property文件格式、CSV,能够把学校现有的Excel数据和文本数据直接导入到数据中心系统中,方便学校各个职能科室人员导入数据,简化学校数据采集工作3)     支持JDBC、ODBC、JNDI等连接方式,因此能够为未来学校的系统扩展提供支持;大数据数据库支持:Hadoop Hive,spark;能够为学校未来迎接大数据时代打好基础。

性能配置

1)     支持集群配置,能够在交换平台界面配置Cluster集群,因此,从技术上保证未来学校大量数据处理的性能和稳定性。

2)     能够直接在交换平台上配置数据源连接共享池,确保数据交换的性能和稳定性。

数据交换配置

1)     能够实现交换、任务分层配置,交换配置具体的数据交换方案,任务配置数据交换的执行机制和执行实例

2)     支持图形化、流程化,基于鼠标拖拉拽的数据交换配置,创建新的交换方案,在交换方案界面上能够直接在左边的图形化菜单栏中选择核心输入输出和数据转换对象,鼠标直接拖动对象到配置界面上,在街面上能够鼠标直接图形拖动连线配置交换流程图,所有对象均图标显示,对象之间采用箭头连线显示数据交换和数据清洗流程路径,中间数据清洗转换节点采用图标显示。

3)     所有的数据源配置、数据交换机制、数据变换流程环节、脚本配置、数据交换等完全基于图形化的鼠标托拉拽配置界面,无需编写代码

4)     任务配置需要采用鼠标拖拉拽拖动开始节点、选择交换方案、设置执行过程监控,基于图形化流程配置。支持日志设置、参数设置;能够在开始执行节点上设置交换类型(定时,时间间隔,重复等),支持以分钟计算的间隔、那一天的那个时点、哪一周的哪天、那一个月的哪天执行交换任务。

5)     图形化的数据交换配置平台无需编写程序代码,通过界面配置即可实现数据接入和学校系统之间的数据复制和数据交换,能够适应学校未来随时变化的数据共享需求,无需依赖开发商,学校能自主配置数据交换共享。

数据交换对象支持

1)     输入对象支持:表输入、CSV文件、cube输入、email消息输入、DataGrid输入、Excel输入、文本文件输入、XML输入流、RSS输入、Property输入、LDAP输入、OLAP输入、Access输入、Json对象输入、Xbase输入

2)     输出对象支持:表输出、文本文件输出、XML输出、Json对象输出、Cube输出、自动化文档输出(Automatic Documentation)、LDAP输出、Access输出、Excel输出、Pentaho Reporting输出、Properties输出、RSS输出、SQL文件输出

3)     支持更新输出、数据同步合并输出(Synchronize)、插入/更新删除输出、

数据清洗转换功能

1)     支持值映射、去除重复记录、增加常量、增加序列、字段选择、拆分字段、排序记录、行扁平化、行转列

2)     支持计算器计算、字符串剪切、唯一记录(Unique Rows)、设置字段值、数值范围、多字段转化行(逗号间隔)、字符串替换、添加XML

附加功能

1)     支持克隆记录、写日志log、发送日志信息、发送邮件、运行SSH命令、执行过程、编辑XML、延迟记录、改变文件编码格式等

2)     支持执行脚本、公式、用户定义的Java类型、用户定义的Java公式、支持Javascript脚本、能执行SQL脚本

支持的命令和操作

1)     Ping 主机

2)     写日志

3)     发送邮件

4)     从POP Server获取邮件并保存在本地

5)     比较文件夹、文件

6)     创建、复制、移动、删除、压缩文件

7)     从HTTP获取或者上传文件

8)     操作延迟等待

数据交换流程配置功能

1)     支持Switch/Case分情况判断、空操作(流程中预留空节点)、按条件过滤记录、停止流程进程、追加流信息、锁定执行步骤、锁定执行步骤直到该步执行完成

2)     支持Java Filter、ETL元数据注入、单线程执行、报告流

3)     支持直线连接流程,直接在输入对象、输出对象、交换对象、连接对象等对象图形之间拖动鼠标连线

支持的查询功能

1)     调用数据库存储过程

2)     基本的数据库查询

3)     判断表以及列、操作系统文件是否存在

4)     从URL接收http的客户端和HttpPost查询

5)     使用Web服务查询信息

6)     使用数据流中的值作为参数来执行一个数据库查询

7)     流查询:从转换中其他流里查询值

8)     检查WebService是否可用9)     检查字段是否存在、检查文件是否锁定

10)   支持动态SQL流记录

11)   支持Join合并连接、支持分类合并、支持XML Join、支持记录笛卡尔输出、支持记录合并

数据仓库功能

1)     学校数据分析、数据挖掘需要依赖数据仓库,数据仓库的数据采集需要使用数据交换平台。

2)     能够实现数据仓库维度更新/查询,查询和更新数据仓库的维表

3)     能够实现数据仓库联合更新/查询

大数据功能

1)     Hadoop文件输入输出

2)     Hbase输入输出

3)     MapReduce输入输出

4)     MongoDb输入输出

5)     SStable输出

6)     CouchDb输入

7)     Cassandra输入输出

8)     Avro输入

数据交换监控功能

1)     监控日志,系统保存明细的数据交换配置日志、数据ETL执行日志、操作日志

2)     图形化监控图表,数据执行情况、Etl执行数据、失败数据、运行监控数据保存在数据库中

3)     数据交换报警

性能及稳定性

1)     支持集群部署,支持数据交换并行执行

2)     支持高并发大数据量的并发处理

3)     采用内存数据处理,50万条数据(100个字段)插入速度小于150S;完全满足学校数据共享需求。

4)     基于Java语言开发,J2EE架构

   


                                            

                    









下一篇: 数据中心管理系统
友情链接:陕西雷竞技app工程信息技术有限公司 陕西雷竞技app教育科技有限公司

地址 陕西省西安市科技西路绿地博海大厦
电话 029-88339538
传真 029-88339539
© 2017 版权所有 【官网】陕西雷竞技app教育科技有限公司


陕ICP备154775411号