摘  要： 大數據的應用方興未艾,根據國內企業的應用場景,給出了企業大數據管理解決方案。此方案還為數據的進一步處理打下了基礎。
關鍵詞： 大數據; 企業大數據管理

    IT行業一直在不斷地努力，以最佳方案滿足日益增長的各種需求。繼云計算之后，大數據又成為業界關注的熱點。云計算更多地體現在它的商業模式與服務模式上，而大數據則更關注數據的處理，而這些紛雜的數據則是關系社會、企業乃至個人生活的核心關鍵，可以說數字時代數據為要。
1 大數據參考架構
    通常人們認為大數據具有4V特點，即：Variety(多樣性）、Volume(大容量或海量)、Velocity(快速)和Value(價值)。至于大數據的嚴格定義，則是人者見人、智者見智，莫衷一是[1]。
　根據調研與實踐，本文給出了相關的參考架構，如圖1所示。

    可以將大數據的參考層次分為4個：
    (1) 數據采集。主要涉及對數據源的采集，包括各種結構化與非結構化數據、靜態數據與動態實時數據等。
　(2) 數據存儲。主要涉及對數據的存儲，包括分布式存儲、海量存儲、虛擬存儲等。
　(3) 數據處理。主要涉及對數據的轉換、傳輸、分發等。
    (4) 數據分析。主要涉及對數據的清洗、比對、挖據、鉆取等。
    同時,按照數據平臺管理、數據維護、安全保護等維度，存在著貫穿各層的管理機制，即：
    (1) 系統管理。對構建的系統平臺進行管理與維護。
    (2) 數據管理。按照數據生命周期對數據進行管理。
    (3) 安全管理。對數據隱私、數據安全、訪問安全、系統安全等方面進行管理。
2 企業大數據解決方案
    由于大數據的應用很多，本文更加關注企業所處的混雜數據的應用場景，基于上面給出的參考架構，給出相應的解決方案。
2.1 應用場景
　企業的數據是企業的核心資料，企業信息化的核心問題就是數據的應用的效率與效果。目前企業的數據主要包括：財務類數據、管理類數據、業務類數據等，這些數據可以是結構化數據和非結構化數據。從容量上看，隨著信息化應用的不斷提高，可以達到GB或TB級，對于一些行業，甚至有可能達到PB級。
2.2 解決方案
    本文提出的企業大數據解決方案是從業務連續性的角度來考慮用戶數據的問題。參考了業界流行的ISO20000、ISO27000、BCP/DRP、ＳＯＡ等相關標準和技術，從安全、服務的范疇來管理數據、保護數據、使用數據。
    方案主要解決企業用戶的結構化與非結構化數據的存儲、管理，為企業相關應用提供基礎數據，為企業的業務連續性保駕護航。
2.2.1 技術特點
    方案主要融合了信息安全技術、數據管理技術、數據同步復制技術、數據庫技術、商務智能技術等，區別于現有的數據備份產品、數據復制產品、數據管理產品，更關注數據在復制之后能夠被快速使用與恢復，以延續業務的連續性。
    方案為用戶數據的進一步加工處理打下了基礎，有助于用戶整合數據、整合應用、數據加工、商務智能、決策分析等。
    主要特點：
　(1)支持多種數據庫的不同版本，也支持多種異構數據庫之間的同步，如Oracle、SQL Server、MySQL、Sybase、DB2、AS400等可以同步到Oracle數據庫或其他數據庫上。
    (2)支持一對一、一對多、多對一、多對多等異構數據庫同步方式。
    (3)比較強的數據加工能力，可以選擇數據源的不同字段，也可以對數據源做相應的轉換、邏輯判斷、映射等處理，還可以設置在數據同步時做異常數據檢查等。
    (4)比較強的傳輸能力，內置數據傳輸平臺，滿足復雜網絡情況下的數據可靠傳輸，支持廣域網下的數據同步，支持跨網段的數據同步，支持物理隔離情況下的數據同步。
    (5)易用性。提供中文工具，方便可視化操作和監控。
2.2.2 技術原理
      統一支持結構化數據和非結構化數據的同步及相應加工。提供可視化工具配置結構化數據和非結構化數據的同步與加工。
    (1)非結構化數據文件既可以通過系統內置的傳輸平臺同步到備份方的文件夾下，也可以將備份方文件夾下的數據文件映射到數據庫上。
     對于非結構化的文件備份，可以在數據源方部署一個節點，負責監控和發送文件，通過可視化配置的數據推送服務，選擇要發送的文件夾、文件、接收節點、接收文件夾等信息，通過定時等調度策略將文件發送到備份方。當然要發送的文件(或文件夾)、備份方的文件(或文件夾)可以來自于接口表或接口文件，通過接口表(或接口文件)實現文件的備份。
       能實現非結構文件到結構化數據的映射，可視化配置非結構文件到異構系統的映射服務，可視化定義文件分類處理服務，根據文件的不同分類調用相應非結構文件到異構系統的映射服務。
       (2) 結構化數據方面支持Oracle、MS SQL Server、IBM DB2、AS 400、Sybase ASE、Sybase IQ、MS Access、MySQL、PostgreSQL、Intersystems Cache、Informix、Gupta SQL
Base、dBase III, IV or 5、Firebird SQL、MaxDB (SAP DB)、Hypersonic、Generic database、SAP R/3 System、CA Ingres、Borland Interbase、KingbaseES等不同版本的數據庫作為源或者目標。
    其技術原理如圖2所示，核心主要包括數據源層、數據管理服務器組層、數據鏡像服務器組層、數據存儲層這幾部分。數據源可以是不同業務系統的數據庫，也可以是文件系統；ReiKing引擎實現了將異構的數據源(數據庫或非結構化的文件等)備份到相應的鏡像服務器的數據庫或文件系統上，ReiKing引擎部署在服務器上，一臺機器可以部署一個或多個ReiKing引擎，根據同步業務負載情況通過擴展引擎數或者機器數實現性能和可靠性的擴展；數據鏡像服務器組的數據庫服務器接收來自于ReiKing引擎的數據，并通過數據庫服務器保存到結構化數據存儲；數據存儲層可以通過數據庫服務器保存結構化數據，也可以通過ReiKing引擎直接保存要同步的文件等信息。

    可以生成數據備份引擎，通過業務邏輯策略的定制，一個引擎可以完成一個或者多個數據源的備份，也可以多個引擎完成一個數據源的備份。一臺機器可以部署一個引擎，也可以一臺機器部署多個引擎，隨著業務應用及信息系統不斷擴展，方便通過增加引擎等手段的拓展。
    引擎之間可以互為備用，示意圖如圖3所示。

    有一個或多個引擎組成運行環境，引擎可以分組處理，也可以互為備份。
     機器C運行管理服務器、管理工具，保存統一的規則和定制相互備份的運行服務器的使用規則；機器A、機器B保存各自的使用規則，平時獨立運行，各自做相應的處理服務，當任何一臺機器出現故障時，另一臺機器根據設定規則，啟動出現故障的機器上運行引擎，并做相應的調動運行處理。
     經過數據同步、交換、集中等整合處理后的數據還可以做數據治理等深加工，包括數據質量的管理、主數據的管理、數據的監控、數據審核等，方便數據分析、數據決策等數據應用；同時，還可以實現數據的共享和交換，配置出共享的數據服務，通過安全的授權和權限鑒定，方便實現數據的安全共享，減少對數據庫的直接訪問，保證使用者只能訪問經過授權的數據。此外還可以實現數據生命周期管理，經過備份的數據可以再被歸檔到不同的庫中，需要時可以按需恢復使用備份和歸檔的數據。
2.2.3 基于流計算的數據加工服務
    數據管理提供了基于流計算的數據加工服務，對來自數據庫、文件、隊列、應用系統等異構系統的數據，在數據流中做加工處理，包括數據轉換/清洗、數據復制、差錯數據發現、數據傳輸、數據比對、數據裝載、流程處理、數據路由等處理，如圖4所示。主要功能如下：

   (1)異構數據源或目標
    ①數據庫:Oracle、SQL Server、DB2、Sybase ASE、Sybase IQ、Informix、My SQL、Access等。
    ②數據文件：文本文件(分隔符、定長等)、Excel文件、DBF文件、睿智文件、XML等。
    ③XML：XML文件或內存中的XML。
    ④內存表：由其他系統或消息隊列傳來的數據可以存在內存表中作為輸入，經過整合處理后也可以放到內存表中，提供給被調用方，還可以放到消息隊列中，由消息中間件傳輸處理。
    ⑤數據庫表、消息隊列內容、文件、 XML之間的相互轉換。
    ⑥支持異構的字符集，數據源或目標可以是中文、西文等字符集。
    ⑦支持數據庫SQL。支持SQL語句調用、支持SQL函數調用、支持SQL存儲過程調用。
    ⑧支持結構體，方便自定義類型、自定義結構、結構體成員的抽取。
    (2)支持實時、增量、批量、全量的抽取。抽取條件可以是靜態語句、動態SQL規則、來自變量、來自變量組等。
    (3)數據轉換處理
    ①格式轉換,包括字段拆分/合并、不同格式間轉換。
    ②靜/動態字段，包括系統時間、動態序列號、給定值。
    ③比對、翻譯轉換處理，包括基于規則表的翻譯、給定規則翻譯、給定數據的比對處理等。
    ④數學運算，不同的數據對象之間作數學運算。
    ⑤聚類處理，根據一個或幾個字段做聚類操作。
    ⑥身份證轉換等轉換處理。
    (4)數據路由
    ①采用“一次抽取，按條件路由”的機制。
    ②支持一對多的數據推送方式。
    ③減輕對數據源如數據庫的壓力。
    ④提高處理的性能。
    ⑤路由條件可以是動態的，也可以是組合的。
    (5)支持數據比對裝載處理。支持和目標內容做比對操作，并根據比對結果做相應的增加、覆蓋、刪除等處理。
    (6)支持緩慢變化維、日志、比對、數據回寫等增量抽取策略。
    (7)緩慢變化維處理
    ①提供緩慢變化維模版和向導，方便緩慢變化維的設計。
    ②可以保留最新值、保留上次數據值，也可以保留給定時間范圍或最近的數據，還可以保留所有的歷史數據值。
2.2.4 安全
    數據安全處理主要包括系統認證安全、傳輸安全、安全授權和鑒定[2]。
    (1)系統安全認證
    系統安全實現提供運行時鑒定，ReiKing引擎運行時驗證運行機器和Key，只有都匹配時才能執行，保證ReiKing運行的加工規則只能在ReiKing環境下運行。ReiKing提供安全連接認證機制，每個節點都有不同的密鑰用于實現建立連接時的加密處理和安全的認證。
    (2)傳輸安全
    提供可靠的安全傳輸機制，保證了數據傳輸中的數據的一致性、完整性。除了網絡傳輸的重送和數據冗余校驗機制外，還提供了數據稽核機制，對傳輸的數據量、文件數量、實體完整性和非空字段進行稽核。
    對于涉密數據，還提供了安全加密傳輸機制，可以根據密鑰對所需數據進行加密后傳送。
　(3)安全授權和鑒定
    提供安全授權管理，滿足不同用戶安全權限的需求。比如有的用戶只有瀏覽的權限而沒有編輯的權限，有的用戶只能編輯自己的對象而不能訪問別人的對象,有的用戶只有設計的權限而沒有運行任務的權限，而管理員擁有全部的權限。
    提供分級安全管理功能，實現了如下安全管理：
　①系統提供管理員(包含超級管理員、部門管理員、組管理員)、開發者、使用者等多種權限級別的用戶管理，可以由上級管理員授權下級管理員權限，滿足總公司和下屬企業兩級權限管控的管理需要，如系統管理員只能設置本單位及下屬單位的用戶。
    ②分項授權，對運行服務器、數據庫連接、服務、流程、整合服務等分項授權，權限包括執行權、編輯權、讀取權，滿足系統級、數據庫級、軟件功能級、記錄級和字段級等多級別的安全控制需要。
    ③通過用戶管理和權限管理，系統對數據實現分級管理，本單位的用戶或系統管理員只能對本單位或下屬單位的數據進行維護，不可調整上級單位的數據。
    ④系統提供較完善的日志管理，能詳細記錄各用戶(含系統管理員）在系統中的操作情況。
    ⑤身份和權限的鑒定，操作者在做開發管理，或者數據服務使用者在使用服務時，都會根據該用戶的授權做相應的身份鑒定和權限鑒定。
　    數據服務使用安全，當應用程序通過Web Service方式、API方式、事件等方式使用數據服務時，其訪問情況將由安全授權來決定。
　　根據國內企業的大數據應用特點，本文提出了相應的大數據管理解決方案。實踐證明，該方案能夠較好地解決國內企業各種數據源的數據的存儲、處理等問題，并為解決業務連續性問題打下了基礎。可以說這是一種性價比很高、易于操作的方案。
參考文獻
[1] RAJARAMAN A， ULLMAN J D. 大數據：互聯網大規模數據挖掘與分布式處理[M].王斌,譯.北京：人民郵電出版社， 2012.
[2] 梁鋼, 茅秋吟.云計算 IaaS平臺的信息安全和運維服務設計[J].電子技術應用,2013,39(7):63-64,96.