2021年9月2日，瑞士洛桑，Nexus管弦樂(lè )團演奏貝多芬“第十交響曲”的片段

市民體驗智慧鋼琴

短短幾年，音樂(lè )人工智能已成為熱門(mén)。作曲、伴奏、即興創(chuàng )作……人工智能在各種場(chǎng)合展示的“才華”令人大開(kāi)眼界。在剛剛過(guò)去的2021年，世界音樂(lè )人工智能大會(huì )、全球人工智能技術(shù)大會(huì )、2021中國音樂(lè )科技應用論壇等各種學(xué)術(shù)活動(dòng)上，音樂(lè )人工智能也成為被提及最多、大家討論最熱烈的話(huà)題之一。

未來(lái)的音樂(lè )會(huì )變成什么樣？音樂(lè )人工智能會(huì )代替人類(lèi)的藝術(shù)創(chuàng )造嗎？它會(huì )為人類(lèi)的創(chuàng )造力插上翅膀，還是成為終結者？

個(gè)案

AI少女學(xué)音樂(lè )

“小冰學(xué)習能力超強”

2020年的畢業(yè)季，上海音樂(lè )學(xué)院迎來(lái)一位“特殊”的畢業(yè)生——人工智能少女小冰。小冰不僅順利畢業(yè)，還被授予音樂(lè )工程系2020屆“榮譽(yù)畢業(yè)生”稱(chēng)號。

談及進(jìn)軍音樂(lè )內容創(chuàng )作，前微軟互聯(lián)網(wǎng)工程院副院長(cháng)、現任小冰公司首席執行官李笛告訴北京青年報記者，不同于此前的詩(shī)歌創(chuàng )作、視覺(jué)創(chuàng )作、演唱，音樂(lè )創(chuàng )作對人工智能小冰來(lái)說(shuō)難度更大，“音樂(lè )是流媒體，對作品的流暢度要求很高。此前小冰在音樂(lè )創(chuàng )作中的能力主要是內容的生成，比如演唱，這一次小冰學(xué)習的作詞、作曲和編曲其實(shí)更難。”

如何讓人工智能學(xué)會(huì )音樂(lè )創(chuàng )作呢？小冰團隊與上海音樂(lè )學(xué)院老師告訴北青報記者，讓人工智能小冰開(kāi)始音樂(lè )創(chuàng )作的學(xué)習過(guò)程分三步：

首先，基于小冰已有的音樂(lè )創(chuàng )作模型，團隊把端口給到上海音樂(lè )學(xué)院的老師，讓老師去聽(tīng)小冰創(chuàng )作的海量音樂(lè )作品，并給出系統性的點(diǎn)評。

其次，老師也教會(huì )團隊程序員基本的樂(lè )理知識，包括編曲技巧等，用于優(yōu)化小冰的創(chuàng )作模型。

最后，小冰不斷學(xué)習，不斷交作業(yè)，老師不斷給反饋。無(wú)論“模型”“作業(yè)”還是“反饋”，都是一個(gè)不斷迭代的過(guò)程，如此循環(huán)往復……

當小冰達到和人類(lèi)同學(xué)相似的水平，且趨于穩定，她就畢業(yè)了。

在上海音樂(lè )學(xué)院學(xué)習期間，小冰接受了來(lái)自音工系主任于陽(yáng)教授和陳世哲老師的“指導”。談及教學(xué)模式，陳世哲老師說(shuō)，教學(xué)生學(xué)習音樂(lè )創(chuàng )作和教授人工智能有相似之處：“傳統教學(xué)方式，我們會(huì )讓學(xué)生學(xué)習經(jīng)典的作品、然后臨摹，接下來(lái)老師批改、學(xué)生再反饋。人工智能和普通學(xué)生的學(xué)習方式并沒(méi)有太多差異，我們同樣也是給小冰準備了一些數據，小冰學(xué)習之后進(jìn)行創(chuàng )作，老師再來(lái)進(jìn)行評估，來(lái)指出哪里有問(wèn)題，繼續去修改，一起來(lái)完成。”

當然也有不同。陳世哲評價(jià)說(shuō)“小冰是個(gè)學(xué)習能力超強的學(xué)生”，“教學(xué)過(guò)程中最大的不同是，小冰的迭代速度是人類(lèi)完全不可能企及的，比如說(shuō)一個(gè)學(xué)生學(xué)習、臨摹一首曲子、寫(xiě)出作業(yè)、老師修改，這個(gè)過(guò)程至少要一周時(shí)間，但是在對小冰的教學(xué)中，我們一口氣放過(guò)去幾百首甚至更多曲子。”

陳世哲老師介紹，判定學(xué)生能否順利通過(guò)畢業(yè)的考核大體有三條水平線(xiàn)，“最高級創(chuàng )作線(xiàn)是頂尖的流行歌曲，譬如可以拿到格萊美獎、最佳金曲獎的水平；中間線(xiàn)是創(chuàng )作水準不錯的普通流行歌曲；基本線(xiàn)是創(chuàng )作廣告、電視劇、紀錄片配樂(lè )等。經(jīng)過(guò)半年的學(xué)習，我們認為小冰已經(jīng)達到基本線(xiàn)普通、簡(jiǎn)單歌曲的創(chuàng )作能力，不斷接近中間線(xiàn)的創(chuàng )作標準，所以我們給了她榮譽(yù)畢業(yè)生的稱(chēng)號。實(shí)際上她的水準已經(jīng)很接近中間線(xiàn)，我們也期待小冰繼續按照研究生的標準來(lái)入學(xué)。”

李笛表示，“對于音樂(lè )產(chǎn)業(yè)化，人工智能可以在不需要人力參與的情況下，用穩定的質(zhì)量、極低的成本、高并發(fā)地生產(chǎn)內容，并供應出去，未來(lái)在視頻、影視配樂(lè )等產(chǎn)業(yè)的落地都有很大的空間。”

揭秘

音樂(lè )人工智能

3秒創(chuàng )作完整歌曲

人工智能的算法進(jìn)入到藝術(shù)創(chuàng )作當中，對傳統音樂(lè )的創(chuàng )作產(chǎn)生了巨大的影響。2019年，華為公司利用Mate20Pro中的AI，對奧地利作曲家舒伯特未完成的《第八交響曲》剩余曲譜進(jìn)行了譜寫(xiě)，并在倫敦的一場(chǎng)音樂(lè )會(huì )上進(jìn)行了公演。與舒伯特的未完稿不同，貝多芬的《第十交響曲》幾乎沒(méi)有任何曲譜，由于病情惡化，貝多芬只畫(huà)了這部作品的幾張草圖就溘然離世。創(chuàng )意人工智能初創(chuàng )公司Playform的一群科學(xué)家和音樂(lè )學(xué)家完成了貝多芬未竟的事業(yè)，他們經(jīng)過(guò)兩年多的努力，不僅讓人工智能學(xué)習了貝多芬的全部作品，還教會(huì )了它貝多芬的創(chuàng )作過(guò)程。2021年10月，這臺人工智能幫助貝多芬續寫(xiě)了《第十交響曲》，并在德國波恩舉行首演，吸引了世界的目光。

“像人類(lèi)的學(xué)習一樣，人工智能也是通過(guò)語(yǔ)料庫學(xué)習海量的內容，然后‘創(chuàng )作’新的作品。”面對人工智能超強的學(xué)習能力，中央音樂(lè )學(xué)院音樂(lè )人工智能與音樂(lè )信息科技系主任、教授李小兵忍不住感慨，“實(shí)在是太強了！”2021年，由李小兵作為首席專(zhuān)家申報的《音樂(lè )與人工智能協(xié)同創(chuàng )新發(fā)展理論研究》入選2021年度國家社科基金藝術(shù)學(xué)重大項目。該課題從音樂(lè )學(xué)、腦科學(xué)、人工智能、計算機科學(xué)等多個(gè)領(lǐng)域入手展開(kāi)跨學(xué)科研究，以“音樂(lè )創(chuàng )作與人工智能協(xié)同創(chuàng )新發(fā)展”“音樂(lè )呈現與人工智能協(xié)同創(chuàng )新發(fā)展”“音樂(lè )接受與人工智能協(xié)同創(chuàng )新發(fā)展”“音樂(lè )人工智能哲學(xué)——美學(xué)”為四個(gè)子課題，圍繞人、音樂(lè )、人工智能三者的相互關(guān)系，對音樂(lè )與人工智能協(xié)同發(fā)展中的問(wèn)題進(jìn)行深入全面的研究。

隨著(zhù)研究的深入，音樂(lè )人工智能在效率上不斷精進(jìn)。李小兵透露，目前人工智能最快3秒就可以創(chuàng )作出一首歌曲。“原來(lái)最快是23秒，現在已經(jīng)縮短到3秒了，3秒不僅是作曲，還包括演唱、伴奏、合成，也就是說(shuō)出來(lái)就是一首完整的作品了。”

李小兵和他的團隊將人類(lèi)創(chuàng )作的歌曲和人工智能創(chuàng )作的兒童歌曲放在一起，邀請志愿者做過(guò)盲測，很難分辨出哪首是人工智能創(chuàng )作的。與人類(lèi)的思維不同，李小兵用“盲盒”來(lái)形容人工智能，“音樂(lè )人工智能創(chuàng )作的東西有些與人類(lèi)相同，有些卻不太一樣，甚至會(huì )讓人瞠目結舌。”

觀(guān)點(diǎn)

“音樂(lè )魅力在于演奏家的二度創(chuàng )作”

“人工智能和藝術(shù)的結合最難的一塊實(shí)際上就是音樂(lè )。”上海音樂(lè )學(xué)院音樂(lè )工程系主任、作曲家于陽(yáng)對北青報記者說(shuō)，“有章可循的容易實(shí)現，但音樂(lè )是時(shí)間的藝術(shù)，聽(tīng)覺(jué)上給人的感受變化無(wú)窮，有太多不確定性。受限于技術(shù)水準、數據等因素，現在的音樂(lè )人工智能還處于初級階段，需要進(jìn)一步探索和研究。”

李小兵也認為，與文本、語(yǔ)言相比，音樂(lè )的維度要多很多，有音高、節奏、強弱、情感等，也要復雜得多，因此音樂(lè )人工智能需要更大的模型和算力，也要最頂尖的科學(xué)家和藝術(shù)家攜手。盡管人工智能作曲可以通過(guò)學(xué)習海量的作品，模仿作曲家的創(chuàng )作通過(guò)圖靈測試，在演奏方面也可以做到精準無(wú)誤，但業(yè)內人士普遍認為，就情感來(lái)說(shuō)，這些作品與人類(lèi)創(chuàng )作的作品還是有很大區別的。

“這就是音樂(lè )的魅力所在。一首鋼琴曲，十個(gè)演奏家彈出來(lái)是十種完全不同的感受，這里面就有演奏家的二度創(chuàng )作。這種感受的不同是機器取代不了的。”于陽(yáng)說(shuō)。

盡管不能代替人類(lèi)最核心的創(chuàng )造力，但目前人工智能已經(jīng)可以輔助人類(lèi)做很多事情，尤其是大量重復性、基礎性的工作。

“20年前，我們都是在五線(xiàn)譜上寫(xiě)東西，現在大部分作曲家都是用電腦軟件創(chuàng )作了，這實(shí)際上就是人工智能的一種形式。”身為作曲家的于陽(yáng)表示，寫(xiě)作完成后，軟件還能自動(dòng)生成演奏，作曲家可以隨時(shí)在上面修改、調整，“人工智能大大提高了創(chuàng )作效率。”

李小兵也認為，“如果要創(chuàng )作高水平的音樂(lè )，如電影配樂(lè )或是一線(xiàn)的、能打榜的流行歌曲，人工智能還有很長(cháng)的路要走，但一些背景音樂(lè )，人工智能的創(chuàng )作已經(jīng)能夠符合人們的欣賞需求。”

隨著(zhù)音樂(lè )人工智能的深入發(fā)展，未來(lái)的音樂(lè )會(huì )有翻天覆地的變化。在李小兵看來(lái)，未來(lái)音樂(lè )可能不止3D音樂(lè )、機器人主持、交互多媒體、人工智能伴奏、虛擬現實(shí)、機器人指揮、機器人演奏、機器人演唱等，更有可能會(huì )出現新形態(tài)，“就像照相機出現以后，迫使美術(shù)界發(fā)生了特別大的改變，出現了一批照相機不能代替的大藝術(shù)家，隨著(zhù)音樂(lè )人工智能研究的深入，未來(lái)的音樂(lè )創(chuàng )作更加彌足珍貴，也一定會(huì )誕生讓人意想不到的新的音樂(lè )形態(tài)。”

本版文/本報記者 田婉婷 張知依

統籌/劉江華 供圖/視覺(jué)中國

潮流檔案

AI通過(guò)自身強大的數字處理能力兼顧歌曲從制作到演唱的全流程，實(shí)現化繁為簡(jiǎn)，在短時(shí)間內完成音樂(lè )作品創(chuàng )作。通過(guò)算法學(xué)習和“實(shí)戰”訓練來(lái)學(xué)習如何寫(xiě)歌，非音樂(lè )工作者也可以借助這種技術(shù)創(chuàng )作出屬于自己獨一無(wú)二的曲子。

行業(yè)布局

科技巨頭投資各有重點(diǎn)

資本早就意識到了音樂(lè )人工智能的商業(yè)價(jià)值，人工智能科技巨頭都在積極布局：早在2016年，字節跳動(dòng)就成立了AI Lab，對AI進(jìn)行深入研究；網(wǎng)易云音樂(lè )在2020年戰略投資了AI音樂(lè )公司AIVA，重點(diǎn)放在了AI輔助音樂(lè )創(chuàng )作領(lǐng)域；騰訊AI Lab推出了AI數字人“艾靈”,可以通過(guò)用戶(hù)提供的關(guān)鍵詞自動(dòng)生成歌詞并演唱；字節跳動(dòng)開(kāi)發(fā)的基于Tacotron聲學(xué)模型和WaveRNN神經(jīng)網(wǎng)絡(luò )聲碼器的中文歌聲合成(SVS)系統——ByteSing、微軟研究院發(fā)布的AI音樂(lè )開(kāi)源項目Muzic等都在試圖證明人工智能可以完成音樂(lè )的整個(gè)生產(chǎn)過(guò)程。

學(xué)科儲備

首批音樂(lè )人工智能博士今年畢業(yè)

各大高校也在迅速推進(jìn)音樂(lè )人工智能的研究和應用。中央音樂(lè )學(xué)院、上海音樂(lè )學(xué)院、四川音樂(lè )學(xué)院等高校紛紛開(kāi)設音樂(lè )人工智能專(zhuān)業(yè)。2022年7月，中央音樂(lè )學(xué)院首批音樂(lè )人工智能的博士就要畢業(yè)了，他們成為了各大互聯(lián)網(wǎng)公司爭搶的人才。“因為社會(huì )對音樂(lè )人工智能的人才需求量巨大，現在大的互聯(lián)網(wǎng)公司用的大部分都是從聲學(xué)專(zhuān)業(yè)轉過(guò)來(lái)的，可能不是專(zhuān)門(mén)學(xué)習音樂(lè )人工智能專(zhuān)業(yè)的，所以說(shuō)目前我們這個(gè)專(zhuān)業(yè)的博士畢業(yè)生非常搶手。”李小兵說(shuō)。

“通常情況下，搞音樂(lè )的人不懂科技，搞科技的人不懂音樂(lè )，音樂(lè )人工智能是個(gè)交叉領(lǐng)域，我們現在做的事情就是把這兩方面結合起來(lái)。”于陽(yáng)透露，上海音樂(lè )學(xué)院的人工智能博士采取雙導師制，音樂(lè )和技術(shù)的導師各一名。“音樂(lè )人工智能未來(lái)可期，現在要跨出這一步很重要。但目前人才缺口還是很大的。”

大事記

2019年

深圳交響樂(lè )團演奏了全球首部AI交響變奏曲《我和我的祖國》，這也是該曲目的世界首演。

2020年7月9日

由微軟小冰、小米小愛(ài)、百度小度、Bilibili泠鳶四位人工智能機器人合唱的主題曲《智聯(lián)家園》亮相 2020年世界人工智能大會(huì )開(kāi)幕式。

2021年10月9日

人工智能續寫(xiě)的貝多芬《第十交響曲》在德國發(fā)布，引發(fā)世界關(guān)注。