
经过数个月的研发(和跳票😡)团子的混响回声移除功能今日已发布“去回声”能力。
如何使用?

在歌曲上传的界面,选择算法后,下方会出现“同时移除回声”功能。
不勾选:仅移除音频中的混响,保留回声。
勾选:同时移除音频中的混响和回声。
您可以根据歌曲的情况自由选择是否开启同时移除回声能力。
桌面端/手机APP也同步更新该功能可用。
功能介绍
团子的混响回声移除和市面其他的“移除混响”功能不同的是,我们主要不仅仅针对“后期混响”,更针对“精细录制混响”,也就是即便在录音棚内录音,也有一定概率存在人声混响,而团子则用来移除这些“精细”混响同时保证不破坏原曲结构。这依赖于团子经过大量物理声学环境实录音频的学习所得到的能力,而大多数移除混响的AI功能都是在“后期混响”环境中学习,也就是学习如何移除那些“合成器”混响,这种移除能力并不能移除那些精细的轻微混响。
在一个反射的录制环境内,除非发声非常大,大多数情况下只有“混响”,很少会出现“回声”情况,这也导致我们初版功能只针对了“实录混响”而没有针对“回声”的移除能力,经过一些小伙伴们的呼吁,我们也开始展开去回声移除的能力。
本次我们发布了人声和乐器两种去回声能力,该功能搭配去混响能力时,更适合于合成器移除而非实录移除。
这其中两种去回声能力的架构不同,乐器去回声沿用DangoNet5-Flash架构(和去混响模型相同),将比较保守的移除乐器的短回声,而全新的人声去回声能力则使用了我们全新的DangoNet6-Flash架构,这是团子下一代的全新架构,同样会沿用到未来发布的伴奏人声提取12.0/任意乐器分离5.0中,当然当前的版本是一个“轻量”版架构,仍然牺牲了一部分的性能来换取更快速的运行,而更重型的架构、更夸张的音质的“满血版”将在未来伴奏人声提取12.0功能中揭晓👻
全新DangoNet6架构对声音的理解将达到一个前所未有的高度,DangoNet6的核心之一是“识别/启发”能力,应用在人声去回声能力,将会更准确的识别并移除回声而不破坏原曲的信息,经过内部测试效果要远远超过DangoNet5系列架构。人声去回声能力也是我们在正式研发伴奏人声提取12.0系列之前,首先进行的可用性测试,该功能的上线同样的这也会加快我们未来的12.0系列的研发进度👻。
具体的,以一个回声效果为例:
(从上到下分别是:5代架构,6代架构)
可以听到,在相同的训练集和相同的训练步数中,DangoNet6可以启发式的移除“部分”回声能力,而DangoNet5还做不到。具体的,小伙伴们可以随意和目前已存在的“去混响/去回声”模型进行横向对比,来测试一下哪个移除的“更干净”同时还不会丢失原曲信息的能力强👻












