項目背景:測試

目前，省內各地政府部門和機構均建立起自己的信息化系統(tǒng)。但由于諸多因素的影響，即使同一地區(qū)的政府機構間也無法進行合理、有效的溝通。不同信息系統(tǒng)產生的數(shù)據(jù)形式不同，數(shù)據(jù)可能是存放于數(shù)據(jù)庫、FTP服務器上的某些文本文件等等。

因此需要一個平臺能使所有需要利用的但質量太差以及缺乏關聯(lián)機制的數(shù)據(jù)結合為一個整體，擔當信息橋梁。在客戶接入端實現(xiàn)數(shù)據(jù)的自動提取與轉換，同時支持手工錄入與審核數(shù)據(jù)，數(shù)據(jù)使用權限等。它應該是一個為不同數(shù)據(jù)庫、不同數(shù)據(jù)格式之間，進行數(shù)據(jù)交換而提供服務的平臺，能解決企業(yè)、政府機構在不同信息庫間信息數(shù)據(jù)無法自由轉換的問題。

同和第三方數(shù)據(jù)交換平臺是一個專注于數(shù)據(jù)處理的技術平臺，它能通過自動+人工干預的方式實現(xiàn)異域數(shù)據(jù)的加工和關聯(lián)，提供了豐富的數(shù)據(jù)導入、處理和應用方式，充分考慮多種應用場合，實現(xiàn)方便的定制功能，使得操作人員在數(shù)據(jù)處理層面上有多種多樣的方式選擇，可以根據(jù)不同數(shù)據(jù)來源和去向定制各異的數(shù)據(jù)導入、加工匹配與應用規(guī)則。最終得到用戶要求的優(yōu)質數(shù)據(jù)。下圖為上述文字的解釋。

功能綜述

    1.數(shù)據(jù)采集

    通過任務定制的方式把原始數(shù)據(jù)導入此交換平臺。數(shù)據(jù)導入的方式主要支持：數(shù)據(jù)庫直連、FTP服務器獲取文件，人工文件上傳，人工數(shù)據(jù)錄入。其中數(shù)據(jù)庫直連可以支持ORACLE、MySQL、DB2等主流數(shù)據(jù)庫；數(shù)據(jù)文件可以支持excel、csv、txt等。根據(jù)用戶配置的頻率，轉換規(guī)則，把數(shù)據(jù)遷移到此交換平臺，由平臺自身數(shù)ORACLE數(shù)據(jù)庫統(tǒng)一管理。此功能塊主要實現(xiàn)了各種數(shù)據(jù)形式的統(tǒng)一轉換，并且遷移到本交換平臺。我們把此環(huán)節(jié)獲得的數(shù)據(jù)叫做原始數(shù)據(jù)。

    2.數(shù)據(jù)加工

    用戶可以針對已經導入平臺的原始數(shù)據(jù)進行加工、與其他現(xiàn)有數(shù)據(jù)進行關聯(lián)匹配。平臺提供了多種規(guī)則讓用戶可以靈活定制出想要的最終數(shù)據(jù)。在自動加工未達到預期效果時可以進行人工干預，而且平臺會記錄和學習此次人工干預動作，在今后的自動加工中人性化處理。同時平臺也提供了強大的模糊匹配功能，類似搜索引擎的模糊搜索。對無法確定是否精確匹配的數(shù)據(jù)建立模糊關系，讓用戶人為判斷。

    3.數(shù)據(jù)應用

    我們對數(shù)據(jù)進行加工的目的也就是對成品數(shù)據(jù)進行利用。本功能模塊為加工好的最終數(shù)據(jù)提供了各種應用渠道。包括了直接界面查詢、excel數(shù)據(jù)導出、數(shù)據(jù)庫外部推送、web服務接口暴露、RPC遠程調用接口暴露等等。

    4.數(shù)據(jù)監(jiān)控

    此功能模塊對數(shù)據(jù)的生命周期有一個完全的監(jiān)控作用。數(shù)據(jù)導入、加工任務進行的進度、詳細執(zhí)行情況在這里一目了然。

    5.綜合查詢

    此平臺可以根據(jù)不同需求分布式多節(jié)點靈活部署，此功能模塊相當一部分功能用于查看子節(jié)點連接情況以及數(shù)據(jù)加工處理情況。

    同時也提供了對平臺使用人員的管理查詢功能，如查詢有哪些逾期未采集的數(shù)據(jù)單元。

    6.系統(tǒng)管理

    此模塊主要提供了系統(tǒng)管理級別的功能，比如使用人員管理、崗位權限管理、菜單管理、平臺系統(tǒng)初始化配置、服務器性能監(jiān)控等。

技術體系

系統(tǒng)架構示意圖：

典型應用

    2012年同和第三方數(shù)據(jù)交換平臺在常州、徐州、揚州地稅局試點應用，取得了滿意的效果。目前已在江蘇全省推廣使用。