《電子技術(shù)應(yīng)用》
您所在的位置:首頁(yè) > 模擬設(shè)計(jì) > 設(shè)計(jì)應(yīng)用 > 一種LZ4無(wú)損壓縮電路設(shè)計(jì)
一種LZ4無(wú)損壓縮電路設(shè)計(jì)
2022年電子技術(shù)應(yīng)用第12期
劉 勇,郭建剛,方 震
中國(guó)電子科技集團(tuán)公司第五十八研究所,江蘇 無(wú)錫214035
摘要: 為緩解存儲(chǔ)系統(tǒng)中軟件壓縮算法對(duì)計(jì)算資源的大量占用,使用LZ4算法設(shè)計(jì)了一種無(wú)損壓縮電路。提出了一種循環(huán)隊(duì)列結(jié)構(gòu)的滑動(dòng)字典,結(jié)合散列表模塊構(gòu)建LZ4無(wú)損壓縮電路,最后使用Calgary和Canterbury語(yǔ)料庫(kù),在Xilinx KC705 FPGA平臺(tái)對(duì)電路進(jìn)行驗(yàn)證并與軟件壓縮對(duì)比。結(jié)果表明所設(shè)計(jì)的LZ4無(wú)損壓縮電路保持了軟件壓縮相同的壓縮率的同時(shí),在壓縮效率上遠(yuǎn)超過(guò)軟件壓縮。
中圖分類號(hào): TN46
文獻(xiàn)標(biāo)識(shí)碼: A
DOI:10.16157/j.issn.0258-7998.222840
中文引用格式: 劉勇,郭建剛,方震. 一種LZ4無(wú)損壓縮電路設(shè)計(jì)[J].電子技術(shù)應(yīng)用,2022,48(12):59-64.
英文引用格式: Liu Yong,Guo Jiangang,F(xiàn)ang zhen. The design of the lossless compression circuit based on LZ4 algorithm[J]. Application of Electronic Technique,2022,48(12):59-64.
The design of the lossless compression circuit based on LZ4 algorithm
Liu Yong,Guo Jiangang,F(xiàn)ang Zhen
No.58 Institute,China Electronic and Technology Corporation,Wuxi 214035,China
Abstract: To decrease the costs of the implementation of compression by software in a storage system, the lossless compression circuit based on LZ4 algorithm is proposed in this paper. The sliding dictionary with circulating queue structure is used, together with the Hash Table module to design the lossless compression circuit based on LZ4. Finally, the design is tested and verified with Calgary corpus and Canterbury corpus on Xilinx KC705 FPGA platform. The results are compared with LZ4 software method and it can be concluded that the compression efficiency of LZ4 circuit method greatly faster than the software method obviously, while the compress ratios keep the same.
Key words : LZ4;lossless compression;sliding dictionary

0 引言

    隨著計(jì)算機(jī)和網(wǎng)絡(luò)技術(shù)的飛速發(fā)展和用戶的激增,互聯(lián)網(wǎng)產(chǎn)生的數(shù)據(jù)量也呈現(xiàn)爆發(fā)式增長(zhǎng)的態(tài)勢(shì)。如何提高存儲(chǔ)器利用效率,存儲(chǔ)不斷產(chǎn)生的海量數(shù)據(jù),成為存儲(chǔ)系統(tǒng)領(lǐng)域的一大難題。自兩位以色列研究者Ziv和Lempel在1977年提出了LZ77壓縮算法[1]以來(lái),各種基于字典匹配的LZ壓縮算法的變體相繼被提出,其中包括LZ78、LZW、LZO、LZSS等。其中,基于LZ77的變體被廣泛用于文本和位圖的無(wú)損壓縮,其壓縮編碼的效率可以很大程度上逼近信源的信息熵值[2]LZ4正是LZ77壓縮算法面向處理速度進(jìn)行優(yōu)化所得的變體算法,其處理速度可達(dá)傳統(tǒng)LZ77壓縮算法的6倍以上[3],目前已被廣泛用于高吞吐量的存儲(chǔ)系統(tǒng)[4-5]。LZ4壓縮算法的速度優(yōu)勢(shì)在于建立字典的過(guò)程中,減少了計(jì)算散列值和更新散列表單元的次數(shù),并且采用直接編碼的方式輸出編碼,減小了輸出延遲[6-7]。但同樣由于降低散列表更新次數(shù),導(dǎo)致LZ4壓縮算法的壓縮率會(huì)高于其他變體壓縮算法。

    與此同時(shí),現(xiàn)有的LZ4壓縮算法基本基于x86架構(gòu)計(jì)算機(jī)的軟件實(shí)現(xiàn),處理效率低。而且在存儲(chǔ)系統(tǒng)的訪問(wèn)過(guò)程中,后臺(tái)運(yùn)行的壓縮程序?qū)?huì)占用大量中央處理器(CPU)的運(yùn)算資源,造成存儲(chǔ)系統(tǒng)請(qǐng)求響應(yīng)延遲上升,嚴(yán)重情況下甚至抵消LZ4壓縮算法的速度優(yōu)勢(shì)。因此需要設(shè)計(jì)一種專用硬件電路實(shí)現(xiàn)LZ4無(wú)損壓縮,以釋放存儲(chǔ)系統(tǒng)中的運(yùn)算資源,提高系統(tǒng)實(shí)時(shí)性。




本文詳細(xì)內(nèi)容請(qǐng)下載:http://m.xxav2194.com/resource/share/2000005041




作者信息:

劉  勇,郭建剛,方  震

(中國(guó)電子科技集團(tuán)公司第五十八研究所,江蘇 無(wú)錫214035)




wd.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。
主站蜘蛛池模板: 成人人观看的免费毛片| 黑人巨茎大战白人美女| 欧美亚洲国产视频| 国产性色视频在线高清| 中文字幕第38页永久乱码| 粗大黑人巨精大战欧美成人 | 亚洲国产精品自产在线播放 | 最美情侣中文字幕电影| 国产ts人妖系列视频网站| bbbbbbbbb欧美bbb| 欧洲乱码伦视频免费| 四虎影视永久免费观看| 把女人的嗷嗷嗷叫视频软件| 日本香蕉一区二区三区| 免费看黄a级毛片| 亚洲精品短视频| 成人在线免费观看| 亚洲欧洲日产专区| 香港台湾日本三级纶理在线视| 巨肉黄暴辣文高h文奶汁| 亚洲欧美一区二区三区日产| 美美哒韩国免费高清在线观看| 在线播放免费播放av片| 亚洲国产精品无码久久久秋霞2| 精品国产乱码久久久久久1区2区 | 免费大香伊蕉在人线国产| 69福利视频一区二区| 日本精品在线观看视频| 亚洲日韩精品无码一区二区三区| 高清中国一级毛片免费| 性中国videossex古装片| 亚洲春色在线视频| 精品久久久久成人码免费动漫| 国产精品冒白浆免费视频| 久久久成人影院| 欧美成人国产精品高潮| 四虎成人精品在永久免费| 国产东北老头老太露脸| 女人张开腿让男人桶视频 | 男女同房猛烈无遮挡动态图| 国产精品αv在线观看|