
各位好久不見🧐
11月份主要精力在「音訊音質修復」功能的研發,正如10月份研發報告所述,由於重新開始研發此功能,且在本次研發過程中獲得可觀效果,我們決定將團隊研發重心轉向該算法。
儘管達到了之前未有的高度,但目前仍有兩個關鍵問題擋在路上:
能量匹配問題
之前提過,如果將頻譜也當成某種「圖片」,忽略其具體語義,那麼這張圖片的高頻就代表「紋理」,比如樂器諧波;低頻則代表「包絡」,比如樂器底噪、形狀和大致能量。
上個月報告指出,新算法已經可以生成「像模像樣」的高頻內容,但這還不代表結束,生成內容要多「響」,也就是生成能量,仍是待挑戰的問題。
我們把「有損音訊恢復」看成標準逆問題,逆問題雖有一個oracle解,但大多數逆問題都破壞了尋找此解的方法或途徑。舉例來說,如果音訊被EQ扭曲,導致某一段高頻能量非常強,但有損音訊丟棄高頻,讓該高頻區域丟失,恰好該高頻使用EQ後的Q值又特別窄(Q值可以理解為EQ點上下有多寬的頻率範圍受到影響),網路便無法從附近頻點找到線索,只能輸出統計平均值,這顯然與oracle不匹配。
目前網路雖能輸出有效內容,但由於缺乏能量匹配能力,輸出能量可能無法與無損原音匹配。我們正在實驗解決方案,可能需要一些時間,但如果長時間效果仍不理想,DANGO也有備用方案,將能量匹配的編輯權交給使用者。預設情況下,DANGO輸出「差不多」的內容,供初階使用者「一鍵修復」;如果進階使用者覺得仍不足,也可以自由編輯輸出能量、修復強弱,甚至修復「高度」(頻率)。總之,這些是本月份主要解決的對象,將在下個月報告實驗進度。
相位匹配問題
相比能量匹配,相位匹配算是比較「小」的事情🧐。有損與無損音訊的重疊區域,有損音訊(大多數編碼器)都能確保較準確的相位資訊,這些資訊可以利用,所以只需要關心待恢復區域的相位。
初代算法不會過度針對相位問題,相位約束較輕,只求「無功無過」,不影響振幅和聽感即可。當然,這可能導致DANGO輸出的「指標」較弱(比如大家最愛的SDR🤓☝️),不過沒關係,DANGO從來都從工業和實用角度出發,對真實人類聽感選擇的權重高於指標。
接下來?
目前音訊音質修復的發布已是「板上釘釘」,但仍需解決一些問題才能與大家見面。12月將繼續研發和打磨,如果進度順利,將在1月~2月上線;如果不順利,可能視情況繼續打磨。儘管部分使用者認為此功能相較其他DANGO功能有點冷門且「不務正業」,但其研發也會回饋未來分離功能,為下一代分離算法提供成熟解決方案,敬請期待🧐















