大數據時代,用戶處理的數據量越來越大,需要的容量越來越大;保存的數據越來越多樣越來越復雜,包括不同的來源,不同的格式,包括結構化和非結構化數據等;需要的訪問速度越來越高,訪問延遲越來越低;對數據價值的挖掘能力要求越來越高。
根據Gartner的分析,滿足大數據的IT架構,至少應具備下面幾個特征
1) 橫向擴展: 可以線性橫向擴展而沒有性能影響
2) 低成本組件:通過使用消費級硬件,降低采購成本
3) 高可用:硬件故障作為常態而非特例來解決
4) 不共享架構:節點之間相互獨立
我們以此為基礎,逐步揭開MVX的面紗。
Scale-uporScale-out
傳統的NAS設備一般使用雙控制器節點提供服務,每個節點支持特定的業務負載,當容量不夠時通過擴展磁盤框的方式增加存儲容量。這種方式的缺陷在于,首先業務和節點的綁定,意味著一個業務及其關聯的文件系統只在一個節點上工作,容易造成系統整體的負載不均。其次,這種系統本質上是Scale-up的擴容方式,追求單機性能,無法做到系統性能隨容量的增加線性增加。Scale-Out方式則是橫向擴展,疊加容量或性能節點,使容量性能得到擴展。
華為OceanStorMVX存儲系統(以下簡稱MVX)采用Scale-out架構,節點之間完全對稱,采用全Active的Sharenothing方式,系統的數據和管理數據(元數據)分布在各個節點上,避免了系統資源爭用,消除了系統瓶頸;即使出現整節點故障,系統能夠自動識別故障節點,自動恢復故障節點涉及的數據和元數據,使故障對業務透明,完全不影響業務連續性。MVX支持3-288節點的彈性空間,100PB的全局統一命名空間,并且支持文件內的細粒度的全局鎖,支持從多個節點并發訪問相同文件的不同區域,實現高并發讀,最終實現高性能的訪問系統。MVX系統采用全互聯組網機制,節點間采用10GE或者Infiniband高速互聯,適配客戶不同的組網需求,支持從集群任何一個節點并發訪問系統中的任何文件。所以MVX通過節點的擴展來解決海量容量的增長,同時還能保持性能線性增長,以此滿足業務發展需求。
MVX系統對數據和元數據分開管理,這樣做帶來的好處,MVX可以在存儲容量不變的情況下,通過增加性能加速節點,進一步顯著提高系統對IO的響應能力,最終向用戶提供卓越的性能。
分布式Raid
傳統Raid,把數據存放在一個節點內的不同硬盤上,當一個硬盤損壞時,通過Raid重構,恢復壞盤上的數據,但當整個節點故障時,整節點的數據就會出現丟失,針對這個問題,可以通過在節點間寫多份來解決。節點間寫多份可以解決傳統RAID整節點故障時丟數據的問題,但磁盤利用率很低,導致高TCO。 MVX的數據通過分布式RAID,節點間冗余的方式進行保護,數據進入系統之后,被切分為N個數據片,然后計算出M個冗余分片,保存在N+M個不同節點的不同硬盤上。這種N+M的冗余模式可以對任意目錄進行重新配置,甚至可以對同一目錄下的不同文件配置不同的冗余比。這意味著用戶可以靈活多變地根據自己的實際需求來指定數據冗余,從而設置不同的可靠性。
集群節點中,任意不超過M個硬盤故障后,MVX可以通過節點間數據重構的方式快速恢復出所損失的數據,進而恢復整系統的數據可靠性。集群中任意節點故障后,該節點所提供的服務會被自動遷移到其他節點上,使得故障對業務無感知。通過把數據分片寫到不同的節點上,不僅可以提高讀寫性能,又能保證數據的高可靠性,還能保持高的磁盤利用率,節約投資。
分級存儲和桌面盤
MVX產品對用戶提供統一命名空間,組成統一命名空間的設備可以由不同系列的硬件組成,當高性能設備和大容量設備同時存在時,系統會自動識別并形成分級存儲。
大容量節點可以使用桌面級硬盤。桌面級硬盤成本比較低,但是這種硬盤相對企業級硬盤來說,對業務的占空比要求比較苛刻,另外能持續在線工作的時間也比較短。MVX系統由于實現了自動在線分級,并且支持對硬盤下電,可以極大縮短硬盤在線工作的時間,在綠色節能的同時延長硬盤使用壽命。MVX通過支持桌面級硬盤在離線存儲中的應用,大幅降低企業的采購成本。