【26年09月】DANGOAI研發日誌
DANGOAI · 2026-10-02
【26年09月】DANGOAI研發日誌

( ̄ω ̄( ̄ω ̄〃 ( ̄ω ̄〃)ゝ先祝各位國慶節快樂~

本月(以及未來數月)仍是研發之月🧐,一起看看9月份研發進度吧。

伴奏人聲提取12.0研發中

本月主要研發仍在伴奏人聲提取的架構設計上。

與之前不同,新架構相比上一代算法幾乎大了3-4倍,這表示參數量將近1b級(10億級),對工程及實驗都是非常大的挑戰🤒。每次實驗失敗付出的代價都更高,實驗耗時也會更長。

我們將算法分為三個抽象目標,需要全部完成才算完成本次研發。

目前我們仍處於目標1的中後期,本月進度有點難以啟齒🤒。我們將近花了15-20天左右,實驗一個完全錯誤的方向,耽誤非常久,目前已經更換方向。

(省流:憋了半天什麼也沒有.jpg)

不過相比上個月,本月下旬已基本固定訓練目標,目前模型在大多數歌曲都比前代更好,但部分問題仍未改善。正在針對這些問題微調,以獲得更一致、更準確的輸出結果。

在純粹的指標方面,上個月我們達到18.83dB的SDR分數,本月則達到18.89dB。內部除了自動計算指標,也有人工聽測平台,本月輸出品質都比上個月高非常多。

全新「輕微雜音移除」(名稱待定)模型確認發布

12.0研發過程中,也撥出部分算力實驗這款全新模型。

上個月研發日誌介紹過,此模型用來進一步、徹底移除人聲「錄音」音訊中細微雜聲、底噪、監聽耳機漏音等,非常小卻仍能聽到、令人不舒服的聲音。

最終成果非常滿意🧐。分別比較了市面開源實作,以及某些軟體或網站的實作,大部分解決方案只能從歌曲提取人聲,並非專門移除這些雜音,因此這些模型的輸出甚至沒有變化——小聲音仍在。少部分方案能部分、不完全地移除一些聲音。

原因是這些模型架構本身不夠「敏感」,另外工程方面,「完全無雜音」的人聲訓練素材非常難取得,因此使用普通人聲訓練時,網路上限受到限制,無論如何訓練,都永遠忽視某些聲音。

DANGO從模型和工程兩方面著手,徹底解決此問題,最終輸出符合產品發布標準,因此12.0發布時,此模型也會作為伴奏人聲提取系列算法之一發布,為人聲提取提供兩個解決方案:從吵雜音樂或聲音環境提取人聲,或對母帶人聲錄音進一步後製,移除不需要的內容。

audio-thumbnail
原音訊
0:00
/11.59835
audio-thumbnail
DANGO
0:00
/11.59835
audio-thumbnail
DANGO提取雜音
0:00
/11.59835

(從上到下分別是:原音訊、DANGO處理後音訊、DANGO提取的「雜音」),由於本模型用來移除「極小聲音」,透過喇叭播放可能感覺不出,因此建議試聽時佩戴耳機並留意音量。音訊來自中期模型,不代表最終結果。

接下來?

「輕微雜音移除」模型已接近滿意,我們暫停最終微調,將全部訓練算力投入研發12.0系列「伴奏人聲提取」算法,嘗試加速實驗和研發階段。

12.0系列目前估計僅處於25%左右進度,當然大家不需要從前幾個月的時間,線性推估最終推出日期。就像遊戲,如果某一天遇到好事件(村民向您分享了核融合技術.jpg),研發進度產生「大跳」的可能性也非常高👻

下個月理論上會在三個抽象目標的目標1中,完成接近收尾的工作,有望對12.0系列DangoNet6架構得出定性結果。