近期,四川省科學技術(shù)獎勵大會公布了“2019年度四川省科學技術(shù)進步獎”獲獎名單。在此次評優(yōu)活動中,衛(wèi)士通《面向安全監(jiān)管的高可靠分布式存儲系統(tǒng)》被評為“四川省科學技術(shù)進步獎二等獎”。
四川省科學技術(shù)獎勵工作深入貫徹“尊重勞動、尊重知識、尊重人才、尊重創(chuàng)造”的方針,旨在鼓勵團結(jié)協(xié)作、自主創(chuàng)新和攀登科學技術(shù)高峰,促進科學研究、技術(shù)開發(fā)與社會發(fā)展之間的融合,努力培養(yǎng)國內(nèi)一流科學家、科技領(lǐng)軍人才和科技工作一線創(chuàng)新人才,加速創(chuàng)新驅(qū)動發(fā)展戰(zhàn)略的實施,以此推進創(chuàng)新型四川建設(shè)。
項目·簡介
面向安全監(jiān)管的高可靠分布式存儲系統(tǒng)
該項目由衛(wèi)士通和成都信息工程大學聯(lián)合完成,針對安全監(jiān)管數(shù)據(jù)存儲利用率不高,容錯能力有限等問題,采用衛(wèi)士通安全運行監(jiān)管系統(tǒng)所用的hadoop分布式文件結(jié)構(gòu),以安全運行監(jiān)管系統(tǒng)采集到的多種類安全監(jiān)管數(shù)據(jù)為對象,共同研究設(shè)計了具備高容錯能力、高安全特性、可快速編解碼的新型分布式存儲陣列糾刪碼,提出了具備不同特點、多粒度的數(shù)據(jù)容錯恢復技術(shù)、計算環(huán)境、網(wǎng)絡(luò)邊界與傳輸網(wǎng)絡(luò)安全防護技術(shù),以及減少數(shù)據(jù)傳輸量的分存份額縮減方法,并構(gòu)建了具備自主知識產(chǎn)權(quán)、基于陣列碼的高安全、高可靠分布式存儲系統(tǒng)。
該項目的總體研究思路,是從安全監(jiān)管的分布式存儲系統(tǒng)對數(shù)據(jù)存儲可靠性的要求出發(fā),以存儲編碼的高容錯能力和快速編解碼能力來實現(xiàn)最優(yōu)更新及存儲修復;以多粒度容錯能力為保障、減少數(shù)據(jù)傳輸為輔助來實現(xiàn)高可靠分布式存儲系統(tǒng)的技術(shù)支撐;以hadoop技術(shù)為依據(jù)來實現(xiàn)相應(yīng)的大數(shù)據(jù)分布式存儲。未來,該項目的相關(guān)成果可應(yīng)用到氣象、公安、電力、醫(yī)院等行業(yè),將帶來顯著的社會價值。
不僅如此,項目組還在期間突破了一系列關(guān)鍵技術(shù),共申請和獲得相關(guān)專利9項(國內(nèi)發(fā)明專利7項,已授權(quán)7項;申請國際PCT專利2項)、獲得軟件著作權(quán)33項、發(fā)表論文48篇。
亮點·解讀
面向安全監(jiān)管的高可靠分布式存儲系統(tǒng)
01、本系統(tǒng)采用多源數(shù)據(jù)集中采集組件來統(tǒng)一接入多源數(shù)據(jù),然后對異構(gòu)的輸入數(shù)據(jù)進行校驗、解析、校正,再統(tǒng)一存入大數(shù)據(jù)集群。而多源數(shù)據(jù)集中采集組件則采用插件化的架構(gòu)模式,能滿足當下和未來添加、修改各類不同數(shù)據(jù)編解碼的需求,從而對各種異構(gòu)數(shù)據(jù)進行標準化處理;
02、在安全監(jiān)管方面,本系統(tǒng)使用事件關(guān)聯(lián)分析技術(shù),結(jié)合安全事件的運行環(huán)境,對原來相對孤立的低層安全事件數(shù)據(jù)集進行關(guān)聯(lián)整合,并通過過濾、聚合等手段去偽存真,發(fā)掘隱藏在這些安全數(shù)據(jù)之間的真實聯(lián)系,識別網(wǎng)絡(luò)威脅和復雜的攻擊樣式,生成高級層面的安全場景,為網(wǎng)絡(luò)安全態(tài)勢感知和攻擊發(fā)現(xiàn)提供可靠的支撐;
03、該分布式存儲系統(tǒng)跟其他存儲系統(tǒng)相比,由于基礎(chǔ)陣列碼在理論上擁有不受限的容錯能力,因此在容錯數(shù)量方面遠遠大于以往的存儲系統(tǒng),可以在大規(guī)模分布式存儲集群中容忍更多的節(jié)點失效;
04、本系統(tǒng)在陣列碼特點上,擺脫了以往傳統(tǒng)糾刪碼受到素數(shù)或類素數(shù)的約束條件,可以使參數(shù)設(shè)置更靈活。此外,采用的編碼運算都是異或運算,較以往基于有限域或其他運算的陣列碼,在運算速度方面有了顯著提升。該系統(tǒng)采用的陣列碼均是MDS或近似MDS的最優(yōu)編碼,因此存儲效率能夠達到最優(yōu)或近似最優(yōu),在高容錯能力的前提下存儲效率更高、冗余度更低,更能節(jié)約存儲成本和計算成本;
05、在數(shù)據(jù)恢復上,由于該系統(tǒng)采用的是異或運算,因此數(shù)據(jù)恢復的基本速度很快,在獨有的局部恢復技術(shù)的配合下,可實現(xiàn)更快捷的數(shù)據(jù)恢復。此外,該系統(tǒng)在數(shù)據(jù)恢復方面獨創(chuàng)了不同層次的數(shù)據(jù)恢復功能,實現(xiàn)了比特數(shù)據(jù)、數(shù)據(jù)塊、重要圖像和存儲節(jié)點的恢復。