【25年02月】DANGOAI研發日誌
DANGOAI · 2025-03-03 預告
【25年02月】DANGOAI研發日誌

2月份我們的研發團隊一直聚焦於有損音質修復問題,對於這個功能其實在兩年前左右我們就有計劃,但一直未實施,目前我們整個實驗室已經開始全力進行此功能的研發——在整個2月份,我們統計已經做了將近700多場實驗。

很遺憾的通知給各位朋友們,儘管我們拆分成幾個方向、不同的實驗機器在並行做不同的實驗,但結果是——我們的實驗效果並不滿意😭

有損歌曲和無損歌曲在時域(波形)的差距不大,主要差距在頻域內,通常看起來是高頻被整體裁斷、另外中頻低頻有一些看起來像是“洞”一樣的缺陷區域。

目前市面上並沒有類似的工作,但在學術領域還是有較少的類似工作——和我們的任務最類似的Apollo,這是國內的大佬所發佈的一篇論文,用來修復有損音訊內容,儘管Paper非常偉大,但經過我們的評估後,我們認為Apollo並不能適應這項任務,原因如下:

  1. 充滿橫線僞影,導致輸出結果從一種“有損”變成了另一種“有損”,我們認為這是在頻譜轉為feature時,嵌入的能量資訊導致的。
  2. 輸出的中低頻模糊化、平均化,我們認為這是transformer型架構導致的。
  3. 無法恢復高頻。除了一些對於神經網路比較容易學習的,如鼓組、人聲齒音這樣的“一通到頂”的形狀,其他並不會生成任何有意義的能量。

因此,我們決定自研一套適應這個任務的架構,目前我們的架構已經能完美的解決1和2的問題,輸出的內容清晰無僞影。

(Raw / Apollo / Dango)

我們觀察這個圖片,可以看到DANGO的算法輸出的頻譜更清晰,沒有僞影——甚至高頻內容也有所恢復,看起來人聲的氣流聲得以恢復一些。

但這仍然遠遠沒到我們期望的程度,我們希望高頻能恢復出更有意義的內容,目前在人聲看起來似乎有些高頻內容,但在樂器上就“露餡”了:

這是一個簡單的絃樂器音色,他的形狀也非常簡單,從基頻開始每隔一段頻率都會有一個諧波形狀,可以看到DANGO似乎預測了一些模糊的諧波內容,而Apollo則是用一些平均模糊的僞影“糊弄過去”,但實際上即便的DANGO的結果也仍然不可用,仔細觀察在接近高頻的內容,一些斷開的諧波看起來像是顆粒一樣,DANGO的算法並不能連接這些“顆粒”來還原諧波,並且高頻內容也是非常沒有信心,儘管有些淡淡的形狀,但並不會生成有意義的能量線。

解決前兩個問題對於我們來說比較簡單,目前仍然卡在第三個問題——如何恢復有意義高頻,我們嘗試了各種解決方法,但均無明顯效果。

經過我們商討,我們決定追加一個月的實驗時間,目前我們有了一些新的方向,整個3月份我們仍然會嘗試尋找改進的方法,如果3月份仍然沒有顯著效果,DANGO會考慮放棄此功能的研發(留給學術圈大能🧐),因為目前的程度我們認為還遠遠不足實際的使用,我們會全力開始轉戰11.0分離算法的研發。在此感謝朋友們的耐心等待😥

另外,如果您的研究是類似方向的大能,您可以聯繫我們,我們接受您的解決方案,有償。