《電子技術(shù)應(yīng)用》
您所在的位置:首頁 > 模擬設(shè)計 > 設(shè)計應(yīng)用 > 高性能高可用Redis客戶端的設(shè)計與實現(xiàn)
高性能高可用Redis客戶端的設(shè)計與實現(xiàn)
2022年電子技術(shù)應(yīng)用第1期
劉世超1,2,楊 斌1,2,劉衛(wèi)國1,2
1.山東大學 軟件學院,山東 濟南250101;2.國家超級計算無錫中心,江蘇 無錫214072
摘要: Redis是一個基于內(nèi)存存儲的非結(jié)構(gòu)化數(shù)據(jù)庫,以高I/O(Input/Output)性能和高響應(yīng)速度著稱,在數(shù)據(jù)緩沖、消息隊列、Key-Value存儲等場景都發(fā)揮著重要的作用。在其支持的眾多客戶端中,C/C++客戶端Hiredis的應(yīng)用尤為廣泛。對Hiredis庫做了深入分析,發(fā)現(xiàn)了其管道功能存在高開銷、指令存儲不當以及內(nèi)存混淆問題。基于此,在32邏輯核的X86架構(gòu)處理器以及64 GB內(nèi)存的Linux服務(wù)器上,設(shè)計并實現(xiàn)了一個面向C/C++的高性能高可用Redis客戶端,通過內(nèi)存預(yù)分配以及內(nèi)存隔離的方法提高了大量指令批處理時的性能并解決了復(fù)雜場景下的內(nèi)存混淆問題。經(jīng)測試,新客戶端提高了3~7倍的指令執(zhí)行效率,同時也保證了復(fù)雜場景下的內(nèi)存安全以及數(shù)據(jù)準確性。
中圖分類號: TP391
文獻標識碼: A
DOI:10.16157/j.issn.0258-7998.212432
中文引用格式: 劉世超,楊斌,劉衛(wèi)國. 高性能高可用Redis客戶端的設(shè)計與實現(xiàn)[J].電子技術(shù)應(yīng)用,2022,48(1):46-52,58.
英文引用格式: Liu Shichao,Yang Bin,Liu Weiguo. Design and implementation of high-performance and high-availability redis client[J]. Application of Electronic Technique,2022,48(1):46-52,58.
Design and implementation of high-performance and high-availability redis client
Liu Shichao1,2,Yang Bin1,2,Liu Weiguo1,2
1.School of Software,Shandong University,Jinan 250101,China;2.National Supercomputing Center in Wuxi,Wuxi 214072,China
Abstract: Redis is an unstructured database based on memory storage. It is known for high I/O(Input/Output) performance and high response speed. It plays an important role in data buffering, message queues, key-value storage and other scenarios. Among the many clients it supports, the C/C++ client Hiredis is particularly widely used. This article did an in-depth analysis of the Hiredis library and found that its pipeline function has high overhead, improper instruction storage, and memory confusion problems. Based on this, this article designs and implements a C/C++-oriented high-performance and high-availability Redis client on a 32-core X86 architecture processor and a 64 GB memory Linux server. It improves the performance of processing a large number of instructions and solves the problem of memory confusion in complex scenarios through memory pre-allocation and memory isolation. After testing, the new client has improved instruction execution efficiency by 3~7 times, while also ensuring memory safety and accuracy in complex scenarios.
Key words : Redis;pipeline;Hiredis;memory confusion;performance optimization

0 引言

    隨著互聯(lián)網(wǎng)飛速發(fā)展以及大規(guī)模應(yīng)用的不斷涌現(xiàn),目前已經(jīng)步入了大數(shù)據(jù)時代。非結(jié)構(gòu)化數(shù)據(jù)逐漸替代了傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)并迅速占據(jù)了主導地位,為了管理形式多樣的非結(jié)構(gòu)化數(shù)據(jù),涌現(xiàn)了諸如MongoDB[1]、InfluxDB[2]、Elasticsearch[3]等十分有代表性的數(shù)據(jù)庫。這些數(shù)據(jù)庫雖然針對非結(jié)構(gòu)化數(shù)據(jù)的存取做了很多優(yōu)化,但是受限于硬盤(Hard Disk Drive,HDD)等底層存儲介質(zhì),往往無法滿足高性能場景的需求。

    為了提高性能,以Redis為代表的內(nèi)存數(shù)據(jù)庫應(yīng)運而生。Redis是一個非結(jié)構(gòu)化數(shù)據(jù)庫,支持使用非結(jié)構(gòu)化語言(Not-only Structured Query Language,NoSQL)查詢。同時,Redis通過I/O(Input/Output)多路復(fù)用和DRAM(Dynamic Random Access Memory)提供了高吞吐、高并發(fā)和低時延的服務(wù),在數(shù)據(jù)緩沖、消息隊列、Key-Value存儲等場景都發(fā)揮了重要的作用。

    但是隨著大規(guī)模計算集群的算力逐漸增大,應(yīng)用的數(shù)據(jù)規(guī)模也隨之變大,計算和I/O之間的“存儲墻”也變得愈發(fā)明顯。現(xiàn)有的Redis也遇到一些網(wǎng)絡(luò)和存儲方面的問題。因此如何改進Redis也受到了廣泛的重視,隨之出現(xiàn)了很多Redis優(yōu)化的相關(guān)工作,它們從各種角度對Redis服務(wù)端或客戶端做了改進。




本文詳細內(nèi)容請下載:http://m.xxav2194.com/resource/share/2000003907




作者信息:

劉世超1,2,楊  斌1,2,劉衛(wèi)國1,2

(1.山東大學 軟件學院,山東 濟南250101;2.國家超級計算無錫中心,江蘇 無錫214072)




wd.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。
主站蜘蛛池模板: 亚洲av无码日韩av无码网站冲| 国产三级观看久久| 三级黄色小视频| 果冻传媒高清完整版在线观看| 免费看小12萝裸体视频国产| 麻豆国产高清在线播放| 国内精品自产拍在线观看91| 中文无码精品一区二区三区| 欧美乱人伦中文在线观看不卡| 全部免费毛片在线| 韩国三级黄色片| 国产精品最新资源网| 一二三四日本视频中文| 日本道v高清免费| 亚洲国产精品无码久久| 秋葵视频在线高清免费下载| 国产免费一区二区三区免费视频| 2022年亚洲午夜一区二区福利| 少妇高潮喷水久久久久久久久久| 久久婷婷五月综合97色直播 | 美女扒开大腿让我爽| 国产欧美一区二区精品久久久| 97精品视频在线观看| 幻女free牲2020交| 久久久精品久久久久特色影视| 欧妇女乱妇女乱视频| 亚洲精品中文字幕乱码三区| 精品人妻中文字幕有码在线| 国产乱人伦偷精品视频下| 人人添人人澡人人澡人人人爽| 国产麻豆媒一区一区二区三区| zztt668.su黑料不打烊| 无码成人AAAAA毛片| 久久精品国产久精国产| 欧美国产日韩在线| 亚洲精品成人片在线播放| 精品一卡2卡三卡4卡免费网站| 国产swag剧情在线观看| 香蕉97超级碰碰碰免费公| 国产福利小视频| 50岁老女人的毛片免费观看|