录制环境带来的蝴蝶效应
我们每天在各种设备上听到的各式“声音”——人声歌唱、视频内容里的旁白、动听的乐器,他们绝大多数都来自录制设备的录制,也就是我们常说的“麦克风”或者“拾音器”。
想象一下你是一名喜欢翻唱各类歌曲的爱好者,刚入行的你希望组出一套录制设备,通过互联网的搜寻,你一定会被推荐各式各样昂贵的“麦克风”设备——这的确没错,更好的录制设备,也会拾取更准确清晰的声音,但很多小伙伴们不熟悉的是,“麦克风”其实只是组成木桶中的一个短板,而另一个更常见的短板就是“录制环境”。
在专业的录制中,录制环境是非常重要的一环,比如我们俗称的“录音棚”,通常在墙壁装满了吸音结构,同时对房间内的布局也极为考究,确保您发出的声音只会传导到麦克风里,而不会通过墙壁、屋内的其他物件“来回反射”并导致二次录入麦克风中导致各种不必要的混响、回声、房间共振。而我们通常的录制环境,如家里的房间中,并不会拥有这么好的录制环境,并且“买个好点麦克风”的工作量远远小于“给家里房间装修满足良好录制声学条件”,导致我们经常更在意“麦克风”如何,而不会关心录音环境好坏。
“干燥”的声音
有小伙伴可能疑惑,房间即便糟糕录制带有混响,但录音内有混响其实不是挺好的,这样录制出的声音更饱满,为什么非要往“没有混响”的目标发展呢?
其实在上世纪,软件算法混响技术还没被广泛应用之前,许多录音师和音乐人其实更喜欢利用房间本身的自然混响来增加声音的饱满度和深度,如何录制一个好听的自然混响音乐还是个很考究的问题。然而,随着数字音频处理技术的发展,特别是软件混响的出现,一切都发生了变化。软件混响提供了前所未有的灵活性和精确度,让录音师能够在后期制作中根据需要对声音进行各种调整。这样一来,录音时的要求就变得更为严格了——大家开始追求更干净的录制环境,以便获得纯粹的“干声”。
干声,顾名思义,就是没有任何额外混响或回声的原始“干燥”声音。有了干声,录音师就可以在后期制作中自由地添加想要的混响效果,无论是模仿古老的教堂混响,还是创造全新的现代声音空间,都变得轻而易举。
而我们本身在糟糕环境录制的已经充满了复杂混响、回声的歌曲,在此之上进一步添加“后期混响”,会导致各种不可控的事情产生,比如某个频率的能量巨大导致音频产生嗡嗡共振、比如因为混响混乱导致声音变得异常浑浊。
因此,现在的录音环境变得越来越重要,但要求却与以往不同。不再是追求房间的自然混响,而是更加注重如何减少不必要的反射和回声,确保声音能够清晰、准确地被麦克风捕捉,并由工程师后期的往音频里“添加”混响。
移除混响
正所谓有痛点就有需求,市面上其实早就出现的移除混响的功能,我们将它分为两个“派系”——
传统“机器学习派”:很多音频的编辑软件,如iZotope RX内置的De-Reverb又或者一些vst插件如De-Room都可以尝试删除音频内的可能出现的混响。但实际上我们使用后就会发现,这些功能的移除效果都非常“粗糙”,会对原始音频产生不可逆的破坏,导致原始的音频破损、发闷、丢失内容,以一个音频为例:
原曲:
传统算法(以RX De-Reverb算法为例):
团子算法:
我们能很明显的听到,RX的确可以移除大部分的混响,但相应的代价很多正确的声音也被移除,导致听起来有种奇怪的发闷恍惚感,而团子算法可以无损的删除混响并保证原始音频不破损。
现代“深度学习派”:现在我们也有一些深度学习的AI模型可以使用,如iZotope RX内置的Dialogue Isolate功能,或者一些开源的移除模型以及一些非开源网站内去混响功能。经过大量学习的AI模型普遍的移除效果要比传统机器学习建模好,粗糙的丢失内容导致发闷的问题得到很大的改善——听起来有所改进?但经过我们实测,很多现代算法反而“不如”传统机器学习建模算法。
这些现代算法通常学习了一些软件效果器中的“完美混响”,也就是从一些常见的混响效果器中反向学习干声的组成,然而实际上我们需要的是“真实混响移除”而不是“移除混响效果器”,这些算法可能在移除带有后期效果器的歌曲中效果良好,但实际上需要这种功能的用户,更多都是需要移除真实录制混响来修复糟糕的录音文件,而这些算法在遇到真实录制混响中普遍无法识别和移除。
而传统机器学习通过复杂的人工建模,并学习了真实录制环境混响,该类算法反而在真实混响移除中可用。
那么有没有一种“我全都要”的算法呢?团子针对这些痛点,以真实混响环境的录音作为学习样本并筹备录制了大量干声、带真实混响的学习文件,做到了既能移除真实混响、又不会像是传统算法那样破坏原始声音。
同时,我们对后期混响效果器也进行了大量优化,不仅是真实混响,软件理想混响我们也可以正确移除,并且团子还拥有大量音频混音的建模,我们对立体声音频、多人声、合唱、厚重非混响效果器的音频也进行了专门优化,任何音乐场景均能正确识别和移除混响。
省流:团子解决了你能想象到的各类问题,只需要将文件拖入窗口静待几十秒即可一键完成任意复杂混响移除😇
最后,我们还针对乐器进行特殊优化,我们有望推出一款专门移除乐器录制时的混响,能有效区分空间混响和乐器本身的“长尾音”,移除混响同时保护乐器本身声音不受损伤,该模型我们仍在实验中,敬请期待😇