在創(chuàng)作引人入勝的視頻時,除了視覺效果,音頻同樣扮演著重要角色。然而,尋找或制作合適的音效往往是一項耗時的工作。

在 Adobe 的年度 MAX 大會上,他們展示了一款名為 Project Super Sonic 的實驗性原型,這項技術可以通過文本生成音效、識別視頻中的物體,甚至利用你的聲音,快速為視頻項目生成背景音效和音效。

雖然通過文本提示生成音效的功能聽起來很酷,但實際上,像 ElevenLabs 這樣的公司已經在商業(yè)上提供了類似的服務。更有趣的是,Adobe 將這個功能更進一步,增加了兩種創(chuàng)建音軌的方式。第一種是通過對象識別模型,用戶可以在視頻幀中點擊任意部分,系統(tǒng)會為你生成相應的音效提示。這種將多個模型結合到一個工作流程中的方法十分智能。

最令人驚艷的是第三種模式,用戶可以錄下自己模仿的聲音(與視頻時間同步),然后 Project Super Sonic 會自動生成適合的音效。Adobe 的聲音設計 AI 負責人 Justin Salamon 表示,團隊最開始是從文本到音頻的模型入手,并強調他們在所有的 Adobe 生成 AI 項目中只使用獲得許可的數據。

“我們真正想要的是讓用戶掌控整個過程。這是一個為創(chuàng)作者、聲音設計師以及想提升視頻聲音效果的用戶而設計的工具。”Salamon 解釋道,“因此,我們不僅僅滿足于文本到音效的初始工作流程,還致力于開發(fā)一種能夠提供精確控制的工具。”

在聲音控制方面,這個工具實際上會分析用戶聲音的不同特征和聲音頻譜,以此來指導生成過程。Salamon 提到,雖然演示中使用的是人的聲音,用戶也可以用手拍或樂器來進行錄制。

需要注意的是,Adobe MAX 大會上總是會展示一些所謂的 “Sneaks”,這些項目如同 Project Super Sonic 一樣,都是 Adobe 正在研發(fā)的一些實驗性功能。雖然許多項目最終會融入 Adobe 的創(chuàng)意套件,但并沒有保證所有項目都能正式推出。我認為 Project Super Sonic 有望進入實際生產,因為同一個團隊還參與了 Adobe Firefly 生成 AI 模型的音頻部分,后者能夠延長短視頻的時長,包括其音頻軌道。但目前,Project Super Sonic 仍然只是一項演示。

劃重點:

?? Project Super Sonic 是一項利用 AI 技術,幫助用戶快速生成視頻音效的實驗性原型。

?? 用戶可通過文本、視頻物體識別及模仿聲音等方式生成音效,提升創(chuàng)作體驗。

?? Adobe MAX 大會上展示的 Sneaks 項目中,Project Super Sonic 有望進入未來的創(chuàng)意套件。