《電子技術(shù)應用》
您所在的位置:首頁 > 其他 > 設計應用 > 面向數(shù)據(jù)共享的模型訓練服務系統(tǒng)
面向數(shù)據(jù)共享的模型訓練服務系統(tǒng)
網(wǎng)絡安全與數(shù)據(jù)治理 2期
魏宏原1,2,華 蓓1,2,林 飛1,2
(1.中國科學技術(shù)大學 計算機科學與技術(shù)學院,安徽 合肥230027; 2.中國科學院無線光電通信重點實驗室,安徽 合肥230027)
摘要: 數(shù)據(jù)驅(qū)動的人工智能應用需要大數(shù)據(jù)支持,然而現(xiàn)實中因隱私保護等原因,數(shù)據(jù)往往互不流通,而以孤島形式存在。如何實現(xiàn)數(shù)據(jù)安全可用是當前亟待解決的問題。設計和實現(xiàn)了面向數(shù)據(jù)共享的模型訓練服務系統(tǒng),通過向用戶提供數(shù)據(jù)功能服務接口而非數(shù)據(jù)本身,實現(xiàn)數(shù)據(jù)可用不可見。重點針對資源受限的數(shù)據(jù)共享平臺,設計了高效的資源分配和作業(yè)調(diào)度方法,特別是通過自動資源縮放來應對多變的工作負載,達到優(yōu)化用戶體驗和提高資源利用的目的。實驗表明,相較于常規(guī)的作業(yè)調(diào)度方法,本系統(tǒng)在各種工作負載下都具有響應服務請求快、作業(yè)完成時間短的優(yōu)點。
中圖分類號: TP14
文獻標識碼: A
DOI: 10.20044/j.csdg.2097-1788.2022.02.004
引用格式: 魏宏原,華蓓,林飛. 面向數(shù)據(jù)共享的模型訓練服務系統(tǒng)[J].網(wǎng)絡安全與數(shù)據(jù)治理,2022,41(2):20-29.
A model training service system for data sharing
Wei Hongyuan1,2,Hua Bei1,2,Lin Fei1,2
(1.School of Computer Science and Technology,University of Science and Technology of China,Hefei 230027,China; 2.CAS Key Laboratory of Wireless-Optical Communications,Hefei 230027,China)
Abstract: Data-driven artificial intelligence applications require the support of big data. However, in reality, most of the data do not circulate with each other due to privacy leakage. How to achieve data security and availability is an urgent problem to be solved. This paper designs and implements a data sharing-oriented model training service system. By providing users with data function service interfaces instead of the data itself, data availability is invisible. This paper focuses on resource-constrained data sharing platforms, and designs efficient resource allocation and job scheduling methods, especially through automatic resource scaling to cope with changing workloads, to optimize user experience and improve resource utilization. Experiments show that, compared with the conventional job scheduling method, the system has the advantages of fast response to service requests and short job completion time under various workloads.
Key words : data sharing;model training service;job schedule;resource allocation

0 引言

隨著物聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能技術(shù)的發(fā)展,以及智慧城市、智慧醫(yī)療、電子商務等應用的廣泛普及,每天都有海量的數(shù)據(jù)產(chǎn)生,這些數(shù)據(jù)蘊涵了大量有價值的信息。但是另一方面,數(shù)據(jù)不足正成為當下制約人工智能發(fā)展的一大瓶頸。例如,深度神經(jīng)網(wǎng)絡需要大量數(shù)據(jù)來訓練,但現(xiàn)實中大多數(shù)領(lǐng)域只有少量數(shù)據(jù)集可用,如自動駕駛只有數(shù)個公開數(shù)據(jù)集,醫(yī)學圖像領(lǐng)域不僅數(shù)據(jù)集少,且每個數(shù)據(jù)集僅包含數(shù)十或數(shù)百個病例。造成這種現(xiàn)象的原因主要有兩個方面,一是原始數(shù)據(jù)必須經(jīng)過清洗和標注才能使用,而這一過程不僅費時費力,更可能需要專業(yè)人士的介入;二是目前各行各業(yè)的數(shù)據(jù)主要由政府和企業(yè)在收集,出于行業(yè)競爭、數(shù)據(jù)安全、管理制度等方面的考慮,這些數(shù)據(jù)不能被共享,形成了許許多多的數(shù)據(jù)孤島。如何在保護數(shù)據(jù)和使用數(shù)據(jù)之間取得平衡,是當下迫切需要解決的問題[1]。

一些企業(yè)和機構(gòu)已經(jīng)或正在建設數(shù)據(jù)共享和交易平臺來促進數(shù)據(jù)流通,如Exchange、數(shù)據(jù)堂、上海數(shù)據(jù)交易中心等。但目前這些平臺多以交易數(shù)據(jù)為主,用戶在付費之后擁有對數(shù)據(jù)的永久/指定期限訪問權(quán),可以在數(shù)據(jù)上執(zhí)行任意計算來挖掘感興趣的信息。這會帶來兩個問題,一是如果這些數(shù)據(jù)中包含敏感信息,直接開放給用戶下載會帶來數(shù)據(jù)安全問題;二是難以控制用戶對數(shù)據(jù)進行非法復制和傳播,數(shù)據(jù)可能被用于不正當用途。其實很多時候用戶只想利用數(shù)據(jù)來訓練他們需要的模型,對原始數(shù)據(jù)本身并不感興趣,向用戶提供數(shù)據(jù)的功能性服務而非直接提供數(shù)據(jù),可以在一定程度上解決數(shù)據(jù)保護和數(shù)據(jù)使用之間的矛盾。比如,交通管理部門可在自有的城市出行數(shù)據(jù)上,為社會學研究人員訓練用于分析人群移動規(guī)律的數(shù)學模型。

本文提出面向數(shù)據(jù)共享的模型訓練服務系統(tǒng),允許機構(gòu)或企業(yè)利用自有數(shù)據(jù)集和自有計算資源,向用戶提供模型訓練服務(當然機構(gòu)可以向用戶收費,但這不在本文討論的范圍內(nèi))。用戶只需指定需要的數(shù)據(jù)集并上傳自定義的模型結(jié)構(gòu)(本系統(tǒng)主要考慮深度學習模型),系統(tǒng)可自動完成模型訓練作業(yè),并向用戶返回訓練好的模型,真正實現(xiàn)“數(shù)據(jù)可用不可見”。提供數(shù)據(jù)的功能性服務接口而非數(shù)據(jù)本身,對于消除數(shù)據(jù)孤島、促進數(shù)據(jù)安全流通具有極為積極的作用




本文詳細內(nèi)容請下載http://m.xxav2194.com/resource/share/2000004854




作者信息:

魏宏原1,2,華  蓓1,2,林  飛1,2

(1.中國科學技術(shù)大學 計算機科學與技術(shù)學院,安徽 合肥230027;

2.中國科學院無線光電通信重點實驗室,安徽 合肥230027)


微信圖片_20210517164139.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權(quán)禁止轉(zhuǎn)載。
主站蜘蛛池模板: 精品国产自在现线看| 8x成人永久免费视频| 日韩色日韩视频亚洲网站| 免费在线公开视频| 青青草在视线频久久| 国产色在线|亚洲| 一级毛片免费的| 日韩a级毛片免费观看| 亚洲欧美日韩综合精品网| 精品露脸国产偷人在视频7| 国产成人综合日韩精品无码| 99精品国产99久久久久久97| 成年女人免费视频| 久激情内射婷内射蜜桃| 91成人试看福利体验区| 放荡的欲乱合集| 亚洲一区二区三区在线观看蜜桃| 直接在线观看的三级网址| 国产亚洲自拍一区| 永久在线免费观看| 夫妻免费无码V看片| 久久久久久久久久久久久久久 | 中文天堂最新版在线精品| 最近最新中文字幕完整版免费高清| 亚洲色大成网站www永久| 美女胸又www又黄网站| 国产女人和拘做受视频免费| 18欧美乱大交| 在线视频国产一区| 三级理论在线播放大全| 日本毛茸茸的丰满熟妇| 亚洲中文无码a∨在线观看| 毛片免费在线观看| 全彩无翼乌之不知火舞无遮挡| 菠萝视频在线完整版| 国产成人精品综合在线| 337p人体韩国极品| 在线观看网站禁入口不用下载| 一本大道一卡2卡三卡4卡麻豆| 无限资源视频手机在线观看| 久久综合九色欧美综合狠狠|