基于多Transformer網(wǎng)絡(luò)協(xié)同生成的自動作曲
信息技術(shù)與網(wǎng)絡(luò)安全 5期
王嵩超，李金龍
(中國科學(xué)技術(shù)大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，安徽 合肥230026)
摘要： 多音軌的自動作曲算法需要同時兼顧單條序列的連貫性與多個序列之間的和諧程度。以往工作通常選擇合并序列或并行多生成器兩種方案，它們都無法同時完全捕獲音符之間的依賴關(guān)系以及做到單條序列的連續(xù)性。提出了MuseTransformer框架，其包括由多個Transformer組成的生成器池模塊，并設(shè)計了多生成器的異步執(zhí)行策略與同步機制，以確保細(xì)粒度依賴關(guān)系的捕獲。在樂譜的序列表示方面，提出了關(guān)鍵位置符號(Key Position Symbol，KPS)以提高表示效率。多種音樂領(lǐng)域評價指標(biāo)的實驗結(jié)果表明，所提模型生成的多軌序列之間在和諧程度、連貫性以及序列表示空間效率上，均等同或優(yōu)于其他先進方法。
中圖分類號： TP37
文獻標(biāo)識碼： A
DOI： 10.19358/j.issn.2096-5133.2022.05.008
引用格式： 王嵩超，李金龍. 基于多Transformer網(wǎng)絡(luò)協(xié)同生成的自動作曲[J].信息技術(shù)與網(wǎng)絡(luò)安全，2022，41(5)：51-58.
文獻標(biāo)識碼： A
DOI： 10.19358/j.issn.2096-5133.2022.05.008
引用格式： 王嵩超，李金龍. 基于多Transformer網(wǎng)絡(luò)協(xié)同生成的自動作曲[J].信息技術(shù)與網(wǎng)絡(luò)安全，2022，41(5)：51-58.
Automatic music composition based on multi-Transformer cooperation
Wang Songchao，Li Jinlong
(School of Computer Science and Technology，University of Science and Technology of China，Hefei 230026，China)
Abstract： Multi-track music generation algorithm needs to take account of both coherence on one single track and strong dependencies among multiple tracks. Previous methods either choose to merge multiple sequences into one long sequence, or use multiple generators in parallel, both of which either fail to capture complete dependencies among tokens, or loss single track′s completeness. In this paper，we proposed MuseTransformer, which contains multiple Transformer generators corresponding to each track. In order to capture dependencies among tracks in a fine-grained manner, we designed an asynchronous execution strategy to enable cooperation and synchronization among all generators. In terms of music sequence representation, we designed KPS(Key Position Symbol) to improve the representation efficiency. Experiments on multiple music field metrics show advantages of our model on multi-track harmony, coherence and spatial-compactness, compared to other state-of-the-art methods.
Key words : music generation；sequence representation；sequence model
0 引言
多目標(biāo)序列生成技術(shù)在多軌音樂生成等任務(wù)中有著重要應(yīng)用，這需要同時確保多個生成的序列自身的連續(xù)性與序列之間很強的相關(guān)性。本文關(guān)注音樂生成背景下的多序列生成問題。現(xiàn)代音樂歌曲通常包含多個音軌，包括旋律音軌和用于伴奏的多個樂器音軌。早期的研究[1-2]專注于只有單軌的旋律生成，而最近的工作[3-4]已經(jīng)開始探索多軌音樂生成。在本文中，僅關(guān)注使用基于序列的方法的多軌音樂生成問題。
基于序列的方法首先會將樂譜序列化為一個或多個符號序列，并輸入至序列模型。通常，會設(shè)計出類似MIDI協(xié)議的序列格式來表示一個單軌音樂序列[1-2，5]。與單軌生成相比，多軌生成任務(wù)需要其生成的軌道具有很強的相關(guān)性，同時保持其自身的連續(xù)性。
本文詳細(xì)內(nèi)容請下載：http://m.xxav2194.com/resource/share/2000004247
作者信息：
王嵩超，李金龍
(中國科學(xué)技術(shù)大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，安徽 合肥230026)
此內(nèi)容為AET網(wǎng)站原創(chuàng)，未經(jīng)授權(quán)禁止轉(zhuǎn)載。