【25年10月】DANGOAI研發日誌
DANGOAI · 2025-11-05 新功能
【25年10月】DANGOAI研發日誌

整個10月「咻」地過去了👻上月日誌提到,接下來會重新將精力投入「音訊音質修復」。本月將公開研發結果~

先說結論:有希望!👻👻

10月共做了312場實驗,產生明顯突破。之前實驗已介紹過,有損音訊恢復可分兩個過程:包絡恢復與「紋理」恢復。包絡可理解為頻譜「底噪」,也就是每個樂器的「形狀」,簡單易學,甚至無需深度學習,普通算法也能透過統計,從低頻恢復有意義的高頻包絡。但包絡只是需恢復的一部分,「紋理」更重要,例如許多諧波樂器的「諧波」、合成器樂器的「線條」。為更好理解,我們稱為「紋理」。

想像一張「樓房」照片,包絡就是樓房「直立長方形」的大致形狀,而紋理就是樓房上磚塊、窗戶的紋路。從神經網路的角度來說,包絡屬於較好學習的「低頻資訊」,紋理則屬於很難學的高頻資訊。這裡出現有趣的事情:修復目標本身就是頻譜(DANGO在頻譜方面修復,而非純波形,或demucs那種混合domain👻)。頻譜本身是波形的STFT轉換結果,已包含低頻與高頻資訊;若將幅度譜視為「圖片」,它的低頻和高頻便是所謂包絡與紋理。之前我們「卡」在網路只能恢復包絡與簡單紋理,無法恢復複雜高頻紋理資訊。但本月實驗已成功突破,現在網路也能修復可觀、穩健的紋理資訊。

我們公布兩張示例圖,可看出相較之前,DANGO可生成非常有意義的高頻,前所未有。據我們所知,目前市面與學術界都尚未達到此修復水準,是重大突破,也代表可沿此路線繼續研發👻👻

當然,生成可靠紋理只是困難的一部分。首先,上方示例圖可看出,部分區域的紋理生成仍不盡理想,但這只是小規模資料集訓練的結果。一旦確認可靠,我們將用更大模型、更多資料訓練。其次,與類似的音訊超解析度(Audio Super Resolution)不同,有損恢復更複雜。超解析度只考慮從截止點(cutoff)向更高頻延伸,但有損編碼器不只裁掉高頻,也同時損傷中低頻,產生偽影或頻譜明顯可見的「孔洞」。這些損傷與孔洞,會因歌曲、編碼器,甚至編碼器不同參數而異。也就是網路不但要補全高頻頻譜,還要修復中低頻資訊,又不能產生任何偽影或聽覺異常。這仍是非常大的挑戰,但相對而言,這些都可設法解決👻👻DANGO深耕音訊AI已久,早已累積豐富研發經驗,相信全網首發音訊修復功能的到來已不遠👻👻

總結而言,我們在小規模實驗中取得突破,但將小規模實驗轉為大規模訓練(以及所需高品質訓練素材),還有上述低、中、高頻修復等問題,仍需解決。完成整個功能的研發,可能仍要較長時間。我們預計12月初公布具體安排(先把責任丟給下個月.jpg)。

另外,有些朋友提出「奇怪」回饋:某些網站標示自身產品擁有多少「SDR」,試圖與DANGO比較。

我們在許多產品介紹提過此詞。簡單來說,SDR是一個科學評估指標,大致描述生成內容與原始內容的「相似程度」;越高代表越接近原音,也就是客觀「更好」。

可能見過伴奏提取網站宣傳「SDR得分高達XXX」(有的甚至標示24以上🤣)。這個SDR就像音源分離的「考試分數」,分數越高,通常表示從歌曲中分離人聲、伴奏的能力越強。但這裡有個關鍵陷阱:「分數」高低,完全取決於參加哪場「考試」——也就是用了什麼資料集。不同資料集像不同試卷,有些考題簡單,有些極難。一個工具在簡單試卷可能輕鬆拿95分,在高難度試卷卻可能只得70分。類比作為「考試」的資料集,有些可能專注古典音樂,有些專注電子音樂。

所以,當兩個網站各自誇耀SDR分數,如果背後使用的測試歌曲和音軌根本不同,這兩個分數就像一人在跑馬拉松、另一人在下圍棋,卻比較誰「煮飯能力較強」,一樣抽象🤣

目前業界常用musdb18開源資料集,以others音軌為例,10-12分已相當優秀。也有平台用自建資料集(如MVSEP),在這些資料集上,14-18分同樣非常優秀。

DANGO所有SDR均基於內部資料集,涵蓋大量曲風、語言,甚至壓縮、錄製環境等效果。 正因標準不同,我們從不直接與其他平台比分數,而是只與自己的前一代模型比較——同一套題目,「成績提升百分之多少」才真實、嚴謹。

另外,給大家直觀參考:24分以上SDR是極其誇張的概念。若用SDR衡量192/320kbps高品質MP3與無損差異,分數也僅約23~25。這已到人耳極難分辨的程度——人耳很難區分高品質MP3與無損。可下定論,24分SDR在人耳聽來,除非專業訓練過,否則根本聽不出區別。以音質為主的DANGO,也絕不敢如此「誇耀」🤣

因此下次看見華麗SDR分數,請多留意:數字可能真實,卻未必代表您手中歌曲的處理效果。技術好壞,最終仍需耳朵驗收,聽聽分離聲音是否乾淨、無損,才是最真實的評判。