
小伙伴们五一快乐👻
本月仍然是训练之月,我们会在下文展示当前的研发进度:
混响回声移除
本月我们仍在训练混响回声移除的去回声能力,很遗憾的是本来我们计划在4月底发布去回声能力,但在最终的测试中,在部分歌曲效果仍然不佳,我们仍然需要一部分的推翻重做,预计可能延迟到5月中旬。
具体来说,部分歌曲的人声回声未必是效果器产生的回声,而是在音乐工程制作时“手动”切出的回声,比如对一首歌的某句话或某个词精准的进行回声,而不对其他的声音做改动,这在我们训练时是没有考虑充分的,当在大量歌曲测试时发现了此问题。
我们已经着手修复此问题,好消息是我们的去回声模型是团子正在实验的新自研架构,可以精准修复该问题,只需要对训练数据进行一定调整即可。
我们将重新微调我们的人声去回声模型,而乐器去回声模型不存在此问题,我们将在5月中旬发布两款去回声模型。
现场音乐清理
该功能已经开始推进,但目前仍然有两个“门槛”🧐
首先,我们原计划是推出一个全新功能“现场声音清理(名称暂定)”,该功能除了可以移除鼓掌、欢呼、尖叫声以外,还会移除现场声音的过量的人声、乐器混响以及糟糕录制设置导致的“低音轰鸣”效果,让用户可以一次性把现场声音的各类声学问题全部“清理干净”,或者分轨一般的自由选择清理哪些、清理多少。但目前在低音轰鸣部分我们的多次试验效果均不佳,简单来说,网络很难去判断什么是“合适”的低音,什么是“过量”的低音。
另一个问题是移除欢呼尖叫鼓掌的模型,在大多数歌曲表现均不错,但部分歌曲会有一定残留问题,我们也在尝试解决此问题。
5月份我们将现场声音清理分为两个部分,一个是人声氛围的移除(欢呼、尖叫、鼓掌),另一个是声学修复(过量低音和混响),这两个内容我们会并行进行试验,如果声学修复部分的实验仍然困难,我们将考虑去掉此分支只保留氛围移除的部分,并取消新功能,而是将氛围移除模型放入“任意乐器分离”功能内,总之这仍需要我们进一步的实验来决定功能的走向,小伙伴敬请期待。












