《電子技術應用》
您所在的位置:首頁 > 模擬設計 > 市場分析 > 大數據解決之道:華為OceanStorMVX存儲系統技術漫談

大數據解決之道:華為OceanStorMVX存儲系統技術漫談

2012-09-10
關鍵詞: 大數據 存儲

    大數據時代,用戶處理的數據量越來越大,需要的容量越來越大;保存的數據越來越多樣越來越復雜,包括不同的來源,不同的格式,包括結構化和非結構化數據等;需要的訪問速度越來越高,訪問延遲越來越低;對數據價值的挖掘能力要求越來越高。

    根據Gartner的分析,滿足大數據的IT架構,至少應具備下面幾個特征

    1) 橫向擴展: 可以線性橫向擴展而沒有性能影響

    2) 低成本組件:通過使用消費級硬件,降低采購成本

    3) 高可用:硬件故障作為常態而非特例來解決

    4) 不共享架構:節點之間相互獨立

    我們以此為基礎,逐步揭開MVX的面紗。

    Scale-uporScale-out

    傳統的NAS設備一般使用雙控制器節點提供服務,每個節點支持特定的業務負載,當容量不夠時通過擴展磁盤框的方式增加存儲容量。這種方式的缺陷在于,首先業務和節點的綁定,意味著一個業務及其關聯的文件系統只在一個節點上工作,容易造成系統整體的負載不均。其次,這種系統本質上是Scale-up的擴容方式,追求單機性能,無法做到系統性能隨容量的增加線性增加。Scale-Out方式則是橫向擴展,疊加容量或性能節點,使容量性能得到擴展。

    華為OceanStorMVX存儲系統(以下簡稱MVX)采用Scale-out架構,節點之間完全對稱,采用全Active的Sharenothing方式,系統的數據和管理數據(元數據)分布在各個節點上,避免了系統資源爭用,消除了系統瓶頸;即使出現整節點故障,系統能夠自動識別故障節點,自動恢復故障節點涉及的數據和元數據,使故障對業務透明,完全不影響業務連續性。MVX支持3-288節點的彈性空間,100PB的全局統一命名空間,并且支持文件內的細粒度的全局鎖,支持從多個節點并發訪問相同文件的不同區域,實現高并發讀,最終實現高性能的訪問系統。MVX系統采用全互聯組網機制,節點間采用10GE或者Infiniband高速互聯,適配客戶不同的組網需求,支持從集群任何一個節點并發訪問系統中的任何文件。所以MVX通過節點的擴展來解決海量容量的增長,同時還能保持性能線性增長,以此滿足業務發展需求。

    MVX系統對數據和元數據分開管理,這樣做帶來的好處,MVX可以在存儲容量不變的情況下,通過增加性能加速節點,進一步顯著提高系統對IO的響應能力,最終向用戶提供卓越的性能。

    分布式Raid

    傳統Raid,把數據存放在一個節點內的不同硬盤上,當一個硬盤損壞時,通過Raid重構,恢復壞盤上的數據,但當整個節點故障時,整節點的數據就會出現丟失,針對這個問題,可以通過在節點間寫多份來解決。節點間寫多份可以解決傳統RAID整節點故障時丟數據的問題,但磁盤利用率很低,導致高TCO。 MVX的數據通過分布式RAID,節點間冗余的方式進行保護,數據進入系統之后,被切分為N個數據片,然后計算出M個冗余分片,保存在N+M個不同節點的不同硬盤上。這種N+M的冗余模式可以對任意目錄進行重新配置,甚至可以對同一目錄下的不同文件配置不同的冗余比。這意味著用戶可以靈活多變地根據自己的實際需求來指定數據冗余,從而設置不同的可靠性。

    集群節點中,任意不超過M個硬盤故障后,MVX可以通過節點間數據重構的方式快速恢復出所損失的數據,進而恢復整系統的數據可靠性。集群中任意節點故障后,該節點所提供的服務會被自動遷移到其他節點上,使得故障對業務無感知。通過把數據分片寫到不同的節點上,不僅可以提高讀寫性能,又能保證數據的高可靠性,還能保持高的磁盤利用率,節約投資。

    分級存儲和桌面盤

    MVX產品對用戶提供統一命名空間,組成統一命名空間的設備可以由不同系列的硬件組成,當高性能設備和大容量設備同時存在時,系統會自動識別并形成分級存儲。

    大容量節點可以使用桌面級硬盤。桌面級硬盤成本比較低,但是這種硬盤相對企業級硬盤來說,對業務的占空比要求比較苛刻,另外能持續在線工作的時間也比較短。MVX系統由于實現了自動在線分級,并且支持對硬盤下電,可以極大縮短硬盤在線工作的時間,在綠色節能的同時延長硬盤使用壽命。MVX通過支持桌面級硬盤在離線存儲中的應用,大幅降低企業的采購成本。

本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
主站蜘蛛池模板: 香蕉久久国产精品免| 国产无人区卡一卡二卡三网站| 国产精品欧美在线不卡| 国产在线精品一区二区不卡麻豆| 国产-第1页-浮力影院| 人妻体体内射精一区二区| 亚洲人成网男女大片在线播放 | 动漫av在线播放| 亚洲日韩精品欧美一区二区 | 欧美人与性动交α欧美精品| 日本免费一区二区三区最新| 天堂8在线天堂bt| 国产天堂在线观看| 免费国产黄网站在线观看视频| 亚洲一区在线视频观看| 一本大道香蕉高清视频视频| 香蕉伊思人在线精品| 精品无码AV一区二区三区不卡| 欧美成人免费全部观看在线看 | а√最新版在线天堂| 色噜噜狠狠一区二区| 精品国产丝袜自在线拍国| 欧美乱妇高清无乱码在线观看| 成人性生交大片免费看午夜a| 国产精品亚洲欧美一区麻豆 | 免费av一区二区三区| 久久天天躁狠狠躁夜夜av| 99热在线免费观看| 色吊丝中文字幕| 欧洲成人全免费视频网站| 天堂а√在线地址中文在线| 国产一级毛片卡| 亚洲av无码成人网站在线观看| aaa毛片免费观看| 老板在娇妻的身上耸动| 有色视频在线观看免费高清| 大看蕉a在线观看| 四虎成人精品无码永久在线| 久久精品国产精品亚洲艾草网| 91麻豆高清国产在线播放| 精品欧美成人高清在线观看2021 |