“無人駕駛”企業IT環境運維背后的黑科技,英特爾才是大玩家“
今天的企業IT環境變得越來越復雜,特別是多個本地數據中心、邊緣計算節點和公有云之間的關聯運營,成為企業CIO和業務線負責人的痛點。
根據IDC的預計,到2025年,物聯網每年將產生79.4 ZB的數據,也就是794億TB的數據。而所有數據的背后,則是支撐產生這些數據的機器數據又稱元數據,典型代表就是日志數據。
自業界提出”無人駕駛“數據庫、”無人駕駛“數據中心以來,就試圖用AI人工智能、ML機器學習、大數據分析等技術,簡化各類應用底層的IT系統運營。
過去,是IT人員手工分析由服務器、網絡設備、存儲設備等產生的大量日志文檔,從而分析IT系統的問題所在,進而定位并解決IT故障。但隨著企業IT的日益復雜化,通過AI等技術手段自動化分析、定位和修復IT故障,成為”無人駕駛“IT的可能空間。
要實現”無人駕駛“IT運營,就需要實現IT設備日志文檔的高可擴展存儲以及高性能分析。開源Elasticsearch是高可擴展文檔存儲的理想軟件,但需要配合較昂貴的內存存儲,而內存計算存儲還是ML高性能分析的基礎。
美國創新公司PhoenixNAP、Vision.AI與英特爾合作,推出了下一代企業數據存儲SaaS解決方案phoenixNAP Elasticsearch Service,解決了高可擴展存儲與高性能分析之間的矛盾,帶來了”無人駕駛“IT背后的黑科技。
1
機器數據分析的重要性
隨著以互聯網和云計算為代表的新一代分布式系統的高速發展,系統日志也呈爆炸性增長態勢:包括服務器和應用在內的許多數字資產正在生成大量日志。特別是移動互聯網應用的發展,帶來單個應用訪問量的劇增,系統日志可達上千萬甚至上億條,這對于IT運維來說就意味著越來越困難和難以維護的工作。
系統日志是按照時間順序存儲系統變更記錄的一種數據表或文件,也就是記錄了IT系統和設備在什么時間發生了什么事情,例如數據庫把修改信息寫到日志里,那么當數據庫發生崩潰的時候就可以用日志來同步各種數據結構和索引等。而對于分布式系統來說,日志記錄了按時間順序發生的一切機器行為,這對于分布式系統的分工、同步與協作來說尤其重要。
特別是在多云環境下,日志可能分布在不同的云平臺上,查找任何單個數據點都可能需要搜索大量數據。通常情況下,多個數據點還需要建立關聯以便進行分析。例如,如果發生安全事件,企業可能需要搜索特定時間段內的所有日志以迅速追蹤用戶的活動軌跡,而搜索耗費的時間越長,對于企業的風險就越大。
許多公司不僅希望能不斷增加元數據日志的存儲容量,而且還能對它們進行搜索和分析。開源搜索引擎Elasticsearch就能實現這個目的,但它通常要求將數據存儲在較為昂貴的閃存介質中以便進行高性能分析,這將導致存儲成本的高速攀升。將數據放入超大規模云環境可以降低成本,但仍需持續進行集群管理并且無法利用低成本的對象存儲。
現在,很多云的企業用戶都在尋找一種能夠克服這些局限的解決方案,以便輕松、快速地分析元數據,同時利用開源軟件的經濟優勢。
2
黑科技:下一代企業分析架構
phoenixNAP公司是一家遍布全球的IT服務提供商,以云服務、專用服務器、主機托管和IaaS基礎設施即服務技術解決方案為主業,也是VMware vCloud Air網絡計劃的高級服務提供商。
phoenixNAP與Vizion.AI及英特爾聯合推出的phoenixNAP Elasticsearch Service,可幫助企業在部署Elasticsearch的時候,只將最熱的10%數據存儲在內存中以進行搜索和分析,其余90%保存在對象存儲云中,而Vizion.AI負責壓縮、去重、加密以及云間傳輸。
Vizion.AI的母公司Panzura提供了一個中間層,可以在數據中心存儲協議和云原生對象存儲之間進行轉換。這使運行在數據中心的Elasticsearch以及其它應用,無需修改即可訪問云存儲,而內存中的緩存則有助于實現高性能。
Panzura是一家領先的多云文件服務與數據管理技術提供商,作為VMware的合作伙伴,phoenixNAP、Vizion.AI和Panzura以及英特爾共同提供了下一代企業分析架構及SaaS方案。
與將大量元數據保存在內存中相比,使用云存儲可以大幅降低成本。而phoenixNAP Elasticsearch Service只將最熱的10%數據保存在內存中,而且采用的是英特爾?傲騰?持久內存——在提供大容量存儲的同時,實現近內存處理速度。
Vizion.AI對使用持久內存的基礎設施進行性能測試,并與在公有云服務中運行的性能進行了比較,結果發現在創建文檔索引和文檔數字化方面,phoenixNAP方案的速度要快3倍,延遲也減少了80%。
為什么說phoenixNAP Elasticsearch Service是下一代企業分析架構呢?因為這個方案不僅適用于Elasticsearch服務,對于需要利用本地內存進行數據分析、同時利用對象云存儲進行大容量數據存儲的服務都適用,例如IoT數據分析、ML機器學習、安全數據分析等等機器數據的分析與存儲,在滿足分析性能的同時還大幅降低了整體的存儲成本。
3
黑科技背后的硬科技
phoenixNAP Elasticsearch Service對于企業來說,最大的收益就是在企業的混合多云及IT環境中提供兼具性能與成本效應的元數據搜索與分析,而其中離不開英特爾的技術支持。
phoenixNAP Elasticsearch Service的底層服務器硬件由配備英特爾?傲騰?持久內存的第二代英特爾?至強?可擴展處理器家族提供支持。英特爾?傲騰?持久內存,讓CSP云服務商能夠獲得高性價比大容量存儲能力以及接近內存的性能,其物理外形與DRAM兼容并可插入相同的DIMM插槽中。
而phoenixNAP Elasticsearch Service的虛擬化層則是支持英特爾?傲騰?持久內存的VMware vSphere 6.7,這為Elasticsearch提供了適配的企業IT環境,無需修改代碼即可通過vSphere獲得英特爾?傲騰?持久內存的支持。
在phoenixNAP Elasticsearch Service最上層是容器化的工作負載,以及采用Kubernetes進行集群管理。Vizion.AI副總裁兼總經理Geoff Tudor表示:”英特爾?傲騰?持久內存的優勢在于它不會影響應用的部署。
如果從Kubernetes的角度來看,持久內存就像是另一種存儲資源,其效果立竿見影且無需更改任何代碼。另外,與使用超大規模云提供商的服務相比,借助英特爾?傲騰?持久內存來加速我們的解決方案還能讓我們做到低本高效。“
phoenixNAP Elasticsearch Service對于 CSP云服務商來說,通過在每臺服務器上部署數百個客戶的容器,新內容的索引速度得到提高、實時搜索延遲得以降低,從而避免服務器爭用并改善客戶體驗。當前,云市場的競爭非常激烈,phoenixNAP Elasticsearch Service憑借針對特定應用優化并輔以增值服務的云環境,從競爭中脫穎而出。
全文總結:phoenixNAP Elasticsearch Service對于實現”無人駕駛“企業IT環境運維具有重大意義,該方案解決了元數據存儲與搜索和分析之間的成本與性能的矛盾。phoenixNAP Elasticsearch Service讓企業IT可以在本地內存中快速對元數據進行數據分析,同時把海量的元數據存儲到對象存儲云服務中,這樣就可以用ML機器學習算法等持續對元數據進行分析,并把分析結果用于自動化系統的校正與修復。有了phoenixNAP Elasticsearch Service這樣的黑科技,”無人駕駛“企業IT的夢想終將實現!