解决任意和声问题!和声保留【高级修复】功能已上线
Dango AI · 2024-05-29 新功能
解决任意和声问题!和声保留【高级修复】功能已上线

为什么和声会提取错误?

团子从3.0版本开始,就上线了“和声保留”算法,上线后获得大量用户的好评,并持续更新至最新的10.0版本,每一代我们都努力的提升提取质量,现在,它可以在绝大多数歌曲中正确的识别主唱与和声并正确提取/移除它们。

为什么团子可以识别歌曲中的主唱与和声呢?🧐🧐

在我们大多数的歌曲中,“主唱”与“和声”是遵循一定的规则的——和声是用来丰富歌曲听感的一种经典方法,它能让歌曲内的主唱听起来更“饱满”,在绝大多数歌曲中,和声的音量都会比主唱“更小”,这是因为在编曲中,主唱作为“主要(lead)”人声,和声作为“背景(back)”人声,和声不能“喧宾夺主”音量大于主唱,有时一些编曲家甚至会给和声添加一些让和声听起来更“模糊”的效果器——合唱器、镶边器或者转移立体声位置等效果来进一步的减少和声与主唱“打架”的问题。最终在成品的歌曲中,编曲家希望的是听众能听到和声,但不会“过于在意”这个声音,而且很自然的在主唱“下面”默默歌唱。

audio-thumbnail
Lead
0:00
/0:03
audio-thumbnail
Back
0:00
/0:03

第一首:原始人声;第二首:增加了“和声化”效果器使其变“模糊”

上方说到,在“绝大多数”歌曲中,编曲家都按照这个“行业规则”来编曲,而团子也是基于这种范式去学习并识别歌曲中的主唱与和声。但有时,编曲家并不一定都按照这种规则编曲,这时就会导致基于“行业规则”来学习的团子,无法正确识别歌曲中的主唱与和声内容:

  1. 和声音量与主唱相同:在很多的“双人合唱”、“对唱”的歌曲中,两个人均为“主唱”关系,一般情况下,在歌曲的不同时间段,两个人身份会互换,有时A为主唱,B为伴唱,有时会颠倒,并且在歌唱时,并没有降低某个人的人声音量来衬托另一个人的声音,这会导致团子“混乱”——无法识别应该删除谁的声音、并保留另一个人的声音。
  2. 和声没有增加效果器、或主唱增加了“模糊化”效果器:尽管模糊化效果器一般给“和声”使用,但有时根据曲风和歌曲的精神内涵,效果器也可能会给主唱使用,这同样会导致团子无法正确删除主唱,从而使提取结果变得不再可用。

这些问题成为了“和声保留”的历史难题,尽管经过版本的迭代,团子已经努力的修正这些问题,但和伴奏人声提取不同,伴奏人声提取只需要“删掉一切人声”就好,而和声保留情况更为复杂、在一些“反规则”歌曲中,和声保留均会失效,市面上并没有一个真正的解决方案来修正这些问题,不过时代变了,团子全新“高级修复”功能今日上线👻

全新高级修复功能

在哪找到?

我们可以在歌曲编辑器功能(点我查看如何找到歌曲编辑器)中,框选有问题的片段,并在弹出的菜单中找到高级修复功能。

目前仅“和声保留”功能拥有高级修复能力。

可以看到,目前高级修复功能内包含了三个算法。

消除全部人声

在有些歌曲中,主唱应用了效果器导致伴奏轨中仍有轻微的主唱残留,应用此算法可以进一步的消除伴奏区域内残留的人声或人声杂音,相当于使用“伴奏人声提取”算法在此区域进一步消音一次。

需要注意的是,此算法会“消除”全部的人声,包括本应该在伴奏中的和声,所以请根据需求选择使用。

置换主唱 / 和声

在正常提取过程中,主唱会分离至人声轨,而和声会与伴奏一起在伴奏轨中,但某些罕见歌曲中,团子可能错误的移除了和声、反而将主唱保留到伴奏中,应用此算法可以颠倒主唱与和声的提取位置,来修复错误提取的问题。

修复主唱 / 和声提取混乱

该算法作为我们重磅推出的算法,可以解决上述的“和声提取困难”问题。

在上述的各种问题中,因为编曲问题都会导致团子无法正确识别“什么是主唱”并移除他们,而本算法简单来说,是由您强制告诉团子“主唱听起来是什么样的”,团子以此为条件重新进行和声保留的计算,删除您标记的主唱声音,并保留其他人声

您需要提供一些主唱的“声音”作为样本,并应用此算法,团子则可以根据您的样本来作为条件移除该主唱、并保留其他声音。

具体的,我们可以举个例子,以《潘玮柏 & 弦子 - 不得不爱》这首经典的男女对唱的歌曲为例:

audio-thumbnail
Raw
0:00
/0:06

这个片段中我们可以听到,男女的声音大小、效果器均一致,团子无法认定谁是“主唱”、谁是“伴唱”,团子的做法是将二者全部移除,只留下纯伴奏。

但假如我们希望删除男声,保留女声呢?

我们只需要告诉团子,我们要删除的声音“听起来是什么样”的,具体的,首先我们选择“修复主唱 / 和声提取混乱”功能,下方将出现一个“请标记几秒人声”功能

我们点击“点我标记”,就可以在人声轨中标记出我们希望删除的人声听起来是什么样的。在本案例中,我们标记男声为我们希望删除的对象,而女声保留——在这首歌中,有很多男声独唱的地方,我们随意框选几秒即可。

audio-thumbnail
Man
0:00
/0:05

上方为我们在“人声轨”中框选出的几秒男声独唱的人声,团子会以此为条件进行分离。


框选后,我们点击修复按钮,在经过几秒计算后,我们成功获得了“消除男声、只留女声”的伴奏片段:

audio-thumbnail
Girlonly
0:00
/0:07

可以听到,团子根据您所框选的条件,成功的移除了希望删除的人声🥳🥳


那么进一步的,我们反过来,以女声为条件删除女声,只保留男声呢?

同样的,我们任意选择一段歌曲内的女声独唱:

audio-thumbnail
Girl cond
0:00
/0:04

再次点击修复,经过几秒后,团子会根据您的条件,正确知道“女声”需要删除,并保留其他声音(也就是男声):

audio-thumbnail
Manonly
0:00
/0:07

现在,您可以应用本算法在您自己的歌曲中,只需要告知团子要删除的人声的声纹,团子将自动删除类似的人声,并保留其他的人声🥳🥳

算力点数

由于高级修复需要我们的服务进行重新计算,过程中会增加我们的算力成本,故我们增加了“算力点数”,您在使用高级修复时,将根据修复片段的时长,扣除对应的算力点数。算力点数仅在当前歌曲生效,不同歌曲的算力点数不会共享。

什么?说了半天要花钱?

放心😇!团子从来都希望您能一次解锁歌曲并完整的免费享受我们全部附加功能,并且不在花额外的费用。所以我们为每首歌初始赠送了一定量的算力点数:

  • 试听歌曲:赠送10点,约可处理10秒的修复工作。
  • 6分内的解锁歌曲:赠送60点,约可处理60秒。
  • 9分钟内的解锁歌曲:赠送90点,约可处理90秒。
  • 12分钟内的解锁歌曲:赠送120点,约可处理120秒。

实际上,在和声保留歌曲中,该算法默认已经可以适应99%的歌曲,您无需进行自行修复,AI就可以处理的很妥善,而在那少部分的歌曲中,也仅仅可能是几秒的片段“有问题”,团子默认赠送的算力点数已经足够您的“小缝小补”工作,如果您仍然需要更多点数,我们也推出了兑换通道:

您可以在此使用团子的“免费点数”或“付费点数”兑换为本首歌的修复算力点数(没错,免费点数也可以兑换,您多余的免费点数也可以“再就业”了🤣),再次需要注意的是,每首歌的算力点数并不共享,所以兑换时请务必仅兑换需要的点数。