团子9.0【更好人声提取】已上线
团子AI · 2023-07-15 新功能
团子9.0【更好人声提取】已上线

本月初我们发布了伴奏人声提取的第九代算法,基于我们全新自研的DangoNet3架构,算法一经推出收到大量好评反馈,全新的算法基于多模块架构,学习和拟合能力更强,在乐器丢失、人声残留上得到大量实打实的改善,这里也非常感谢各位小伙伴们的支持和反馈🥰

更好人声提取同时也是团子的“使用大户”,这个算法与正常的“伴奏人声提取”相反——它更在意“人声”的提取质量而不是“伴奏”,非常多的台词、影视剪辑、Remix、AI虚拟歌手等需求清晰人声的用户正在使用团子产品。在伴奏人声提取推出后,我们同步研发的更好人声提取也在今日完成研发并正式上线🥰

全新的9.0版更好人声提取同样基于满血版的DangoNet3架构,拥有和伴奏人声提取功能相同的优点和特性——

更少的伴奏残留

全新的更好人声提取算法基于“多模块”架构,能更加理解并区分“人声”和“其他声音”之间的不同,在“大”的层面上,新算法有效的减少了将“某些声音当成人声”的问题,比如常见的提琴、笛子、吉他等乐器偶尔会被当成人声,新算法有效的避免这些问题;而在“小”的层面上,新算法基于更精细的提取能力,有效减少了“鬼影”问题——即人声“背后”总有一些“窸窸窣窣”的轻微伴奏声音,在新版中,人声更加清晰纯净。

更加清晰的人声

基于我们优秀的 WMIR 架构,我们的人声同样可以“脑补”,在嘈杂的乐器或环境音中,人声可能会被“淹没”导致提取出来失真发闷,而 WMIR 可以“脑补”并恢复出“丢失”的人声部分,这样团子的人声相比市面其他算法更加清晰自然,连细微的呼吸声都可以有效得到保留

接下来呢?

接下来我们会着手研发“和声保留”算法,这也是9.0系列的最后一个算法,预计需要1-2个月时间来上线,还请小伙伴们不要着急😇

而“翻唱元素保留”算法经过我们的公测,虽然从用户反馈来说大多数时候都比较惊艳,尤其是电子音乐中对Chop、Choir等元素的保留体验非常独特,但我们发现它并不是很稳定,什么元素需要翻唱、什么不需要这种——分辨这些事情对AI来说仍然是一个挑战,也许我们可能为它专门制作一种架构来增强稳定性,9.0系列中我们(可能)无法见到它🤔