明敏 发自 凹非寺
量子位 | 公众号 QbitAI
AI孙燕姿这么快翻唱了这么多首歌，到底是咋实现的？
关键在于一个开源项目。
最近，这波AI翻唱趋势大火，不仅是AI孙燕姿唱的歌越来越多，AI歌手的范围也在扩大，就连制作教程都层出不穷了。
而如果在各大教程中溜达一圈后就会发现，其中的关键秘诀，还是要靠一个名为so-vits-svc的开源项目。
它提供了一种音色替换的办法，项目在今年3月发布。
贡献成员应该大部分都来自国内，其中贡献量最高的还是一位玩明日方舟的广西老表。
如今，项目已经停止更新了，但是星标数量还在蹭蹭上涨，目前已经到了8.4k。
所以它到底实现了哪些技术能引爆这波趋势？
一起来看。
多亏了一个开源项目这个项目名叫SoftVC VITS Singing Voice Conversion（歌声转换）。
它提供了一种音色转换算法，采用SoftVC内容编码器提取源音频语音特征，然后将矢量直接输入VITS，中间不转换成文本，从而保留了音高和语调。
此外，还将声码器改为NSF HiFiGAN，可以解决声音中断的问题。
具体分为以下几步：
预训练模型准备数据集预处理训练推理其中，预训练模型这步是关键之一，因为项目本身不提供任何音色的音频训练模型，所以如果你想要做一个新的AI歌手出来，需要自己训练模型。
而预训练模型的第一步，是准备干声，也就是无音乐的纯人声。
很多博主使用的工具都是UVR_v5.5.0。
推特博主@歸藏介绍说，在处理前最好把声音格式转成WAV格式，因为So-VITS-SVC 4.0只认这个格式，方便后面处理。
想要效果好一些，需要处理两次背景音，每次的设置不同，能最大限度提高干声质量。
得到处理好的音频后，需要进行一些预处理操作。
比如音频太长容易爆显存，需要对音频切片，推荐5-15秒或者再长一点也OK。
然后要重新采样到44100Hz和单声道，并自动将数据集划分为训练集和验证集，生成配置文件。再生成Hubert和f0。
接下来就能开始训练和推理了。
具体的步骤可以移步GitHub项目页查看（指路文末）。
值得一提的是，这个项目在今年3月上线，目前贡献者有25位。从贡献用户的简介来看，很多应该都来自国内。
据说项目刚上线时也有不少漏洞并且需要编程，但是后面几乎每一天都有人在更新和修补，现在的使用门槛已经降低了不少。
目前项目已经停止更新了，但还是有一些开发者创建了新的分支，比如有人做出了支持实时转换的客户端。
项目贡献量最多的一位开发者是Miuzarte，从简介地址判断应该来自广西。
随着想要上手使用的人越来越多，也有不少博主推出了上手难度更低、更详细的食用指南。
歸藏推荐的方法是使用整合包来推理（使用模型）和训练，还有B站的Jack-Cui展示了Windows下的步骤指南（https://www.bilibili.com/read/cv22375562）。
需要注意的是，模型训练对显卡要求还是比较高的，显存小于6G容易出现各类问题。
Jack-Cui建议使用N卡，他用RTX 2060 S，训练自己的模型大概用了14个小时。
训练数据也同样关键，越多高质量音频，就意味着最后效果可以越好。
还是会担心版权问题值得一提的是，在so-vits-svc的项目主页上，着重强调了版权问题。
警告：请自行解决数据集的授权问题。因使用未经授权的数据集进行培训而产生的任何问题及其一切后果，由您自行承担责任。存储库及其维护者、svc开发团队，与生成结果无关!
这和AI画画爆火时有点相似。
因为AI生成内容的最初数据取材于人类作品，在版权方面的争论不绝于耳。
而且随着AI作品盛行，已经有版权方出手下架平台上的视频了。
据了解，一首AI合成的《Heart on My Sleeve》在油管和Tik Tok上爆火，它合成了Drake和Weekend演唱的版本。
但随后，Drake和Weekend的唱片公司环球音乐将这个视频从平台上下架了，并在声明里向潜在的仿冒者发问，“是要站在艺术家、粉丝和人类创造性表达的一边，还是站在Deepfake、欺诈和拒付艺术家赔偿的一边？”
此外，歌手Drake也在ins上对AI合成翻唱歌曲表达了不满。
而另一边，也有人选择拥抱这项技术。
加拿大歌手Grimes表示，她愿意让别人使用自己的声音合成歌曲，但是要给她一半版权费。
GitHub地址：https://github.com/svc-develop-team/so-vits-svc
参考链接：[1]https://mp.weixin.qq.com/s/bXD1u6ysYkTEamt-PYI1RA[2]https://www.vulture.com/article/ai-singers-drake-the-weeknd-voice-clones.html
作者 | 卷毛
编辑 | 张洁
头图 | 无界AI
* 今日头图使用无界AI创作，关键词“masterpiece, best quality, highly detailed, girl, short hair, on the stage”
最近“冷门歌手”孙燕姿现身音乐节，有歌迷调侃她“再不出来就要被AI取代了”。
图源孙燕姿微博
是的，近一个月来，经过众多AI玩家的二创助力，“AI孙燕姿”已经在B站出道了。
从周杰伦的《发如雪》、郭顶的《水星记》，到数码宝贝的主题曲《Butterfly》、云南山歌《朝你大垮捏一把》，AI孙燕姿什么歌都能唱。
在看不到孙燕姿现场演出的日子里，粉丝们只好自己动手用AI生成想听的歌曲，许多歌还是本人从未唱过的。虽然现在AI只模仿了音色，还原不了所有唱法技巧，但能复刻嗓音就提供了足够的二创空间。
不仅是AI孙燕姿，网友们还创造了周杰伦、王菲、五月天等众多歌手的“AI平替”，此外还有一些本身不在音乐圈的热门人物也开口唱了起来，比如讲相声的郭德纲、原神游戏角色纳西妲、游戏主播孙笑川。
“头号AI玩家”研究了这些AI歌手是如何走红的，背后有哪些热门的AI语音生成工具，以及和律师朋友聊了聊，通过AI歌曲来赚钱，这当中可能存在什么风险。
“AI孙燕姿”B站出道，二创视频播放超千万我们在B站搜索“AI孙燕姿”，粗略统计了近一个月内发布的60多条相关视频，累计播放量已超过1000万。目前单条视频播放数最高近百万的是翻唱南拳妈妈的《下雨天》。
开头一句“下雨天了怎么办，我好想你”，弹幕纷纷刷起“这个味道太对了”，我作为从小听孙燕姿长大的粉丝乍一听也感到震惊，一时分辨不出这是AI唱的。
看上去，这下歌迷们再也不用苦等孙燕姿出新歌了，直接在评论区点歌，催着UP主用AI出新专辑。比如当年华语乐坛的鼎盛期有“男周女孙”的说法，现在AI就可以轻松实现两人互唱代表作的效果了。
UP主“Eternity丨L”在此基础上进一步添加了和声剪辑，让AI孙燕姿和周杰伦合唱《半岛铁盒》《回到过去》《暗号》等歌曲，目前最高一条视频播放量超63万。
有创作者开始专注于发布AI孙燕姿翻唱视频，比如UP主“罗斯特_x”自4月15日起保持日更，25条AI孙燕姿视频合集累计播放量达231万，目前粉丝1.4万。
据观察，其他AI歌手翻唱的整体热度都不及AI孙燕姿，除了歌手知名度等自身因素，仅从技术来看，用户普遍反馈AI孙燕姿的声音更贴近本人音色，翻唱各类歌曲的效果也比较百搭。
从内容来看，偏向整活搞笑的AI翻唱同样受到欢迎，效果类似于鬼畜视频，且因为训练数据质量的限制，非专业歌手的声音用作这类翻唱视频相对容易一些。就像上文提到的AI孙笑川，单条视频最高播放达190万。
此外，AI翻唱视频的走红背后还有平台运营的推动，比如B站音乐区推出“虚拟之声创作计划”，给优质稿件提供流量扶持和活动奖励，UP主可选择话题“AI虚拟之声实验室”投稿，目前该话题已有超8261万次浏览。
从VOCALOID到Sovits，10分钟AI就能克隆人声其实在AIGC的风刮到华语乐坛之前，就已经有用AI歌声合成技术的虚拟歌手了。
比如2012年出道的虚拟歌手洛天依，在2022年解锁了AI声库（基于ACE Studio），歌声更加动人流畅，创作者使用其声库创作歌曲也更加简便。
图源B站UP主“鬼面P”
这里的声库是指通过采集人类的声音标本制作成的歌声资料库，AI歌声生成与文生图、文生音频不同，并不是从无到有生成音频的，必须先输入声音素材进行训练，才能合成歌声，属于音频生成音频。
目前使用人数较多的歌声合成工具包括：VOCALOID，X Studio，Project Vogen，VocalSharp，AI Singers、ACE Studio、歌叽歌叽、Synthesizer V Studio、Deep Vocal等等。一般用户可以免费使用或者花费几百元就能用虚拟歌手创作歌曲。
图源萌娘百科
基于YAMAHA开发的VOCALOID系列引擎是最早进入国内推广的歌声合成工具，初音未来便是在VOCALOID的基础上训练了声优藤田咲的声线。
虽然早期的虚拟歌姬也采用了声音合成技术，但需要大量训练数据，主要依靠人工调教来模拟人声，创作者只能使用歌手音源库中的声音进行合成，而且声音有明显的“拼接感”或“电子音”。
近年来的歌声合成技术逐渐引入深度学习算法，仅使用少量采样就可以合成更加真实和自然的人声。
具体来看，AI创作音乐通常包含数据收集与预处理、特征提取、模型训练、音乐生成、后处理与优化、输出与演奏这6个步骤。
图源ChatGPT
2020年，人工智能研究机构OpenAI开发的神经网络Jukebox（点唱机），曾为歌手Katy Perry和Elvis Presley创作了AI新歌。
2022年，腾讯音乐推出超写实虚拟偶像鹿晓希LUCY，她拥有“唱片级”声音定位和自动生成的音感，QQ音乐的歌手页面显示上线了13首单曲。
如今的AI歌手配上虚拟形象，表现形式越来越丰富，经过团队运营可达到偶像级人气。但这样从0打造一位AI歌手的制作成本较高。UP主“-LKs-”在介绍AI语音的一期视频中提到，商业公司做一个虚拟歌手声库的启动成本可能要20~40万，这还不包括后续的维护。
但在开源社区，用户现在可以免费训练一个自己的“洛天依”。比如专注于AI唱歌的开源项目DiffSinger，用户提供数小时的干声，就能合成基于这个声音的声库，音色很还原。
AI孙燕姿的音频则使用了AI音色转换技术Sovits4.0版本（全称So-vits-svc）生成，这是由国内歌声合成爱好者Rcell，基于VITS、soft-vc、VISinger2等一系列项目开发的开源免费AI语音转换软件，可以在本地训练。
类似的，科普UP主“花儿不哭”开发了AI变声器RVC开源免费项目，约10分钟就可以克隆一个人的声音。
有了AI助力，业余爱好者创作歌曲愈发便利，不过AI歌手的技术和应用暂时还达不到所谓取代人类歌手的程度，AI在创作能力、情感表达和人格魅力方面仍然难以匹敌人类。
比如AI孙燕姿的音色很像本人，但唱法上的断句、口音、咬字等细节并不相同，目前AI还无法做到个性化的独特演绎。并且，AI暂时不能准确地模仿人类的情绪变化，也不能像真人歌手现场演唱那样即兴发挥。
AI歌手涉嫌侵权，但音乐市场正在改变AI语音生成技术的发展正让虚拟声音的受众变得更广，我们看到越来越多的人试着利用AI来表达怀念和爱，无论是重现已逝歌手的歌声，还是对知名人物的二创，亦或是长久留存家人朋友的声音，这些多出于善意。
但与此同时，AI声音也有可能被用于欺诈，比如用AI模仿家人声音以获取对方信任，施行电信诈骗，或者像换脸视频一样伪造虚假的录音、言论，进而造谣诽谤他人。
更值得注意的是，与其他生成式AI模型类似，AI歌手存在侵犯版权的风险。
近期，控制全球音乐市场近三分之一份额的环球音乐，已经发函要求苹果、Spotify等流媒体平台封禁侵犯公司旋律、歌词版权的AI作品。
图源YouTube@PluggingAI，视频用AI生成知名美国歌手Kanye West“唱”他人歌曲
有网友质疑，一种被市场认可的声音，是歌手团队辛苦经营的成果，这个声音对团队是有经济价值的。AI可以指名道姓地复刻出来商用吗？
上海兰迪律师事务所资深律师陈梦园告诉“头号AI玩家”，未经他人允许，用AI训练他人声音，构成侵权，侵犯个人声音相关权利。如制作的歌曲来源于现有曲库，且歌曲或歌词与现有歌相同或相似，则还构成著作权侵权。这当中所涉及的各方需要承担这些责任：
用户：实施了直接侵权行为，构成侵权。提供AI生成音频的模型开发者：需判断该AI生成音频算法是否具有实质性非侵权用途，且其算法是否公开透明，训练数据是否侵权。在该等情形下，如该AI算法具有实质性非侵权用途，且提供者遵循算法透明度原则，不存在不公平的歧视等，也未使用侵权训练数据，仅提供AI生成音频的模型开发者，很可能不构成侵权。应用模型的产品开发方：嵌入该AI算法的产品开发方是否侵权，需要判断该产品的商业逻辑，如该产品通过引诱方式引导用户训练明星声音（例如其使用引导中添加明星声音等，且产品开发方未获取相应授权，也未提示用户该行为具有侵权风险），形成歌曲，则可能构成侵权。产品开发方因自行获取版权素材或声音素材供用户使用，或向用户显著提示通过未经授权声音训练，将侵犯他人权利。内容平台：如内容平台明知或应知该内容侵权，未采取屏幕/断开连接等方式，则构成侵权。一般来说，用户可以用自己的声音或者他人授权的声音素材训练AI歌手。如果是未授权的情况，比如想训练AI邓丽君、AI张国荣，但这些歌手的声音素材没有得到授权，就不能用于合成歌曲。
许多AI语音生成项目会在免责声明中强调，用户需自行承担数据集的授权问题，并且基于该项目制作的声音、视频不得用于非法行为。部分创作者在发布AI歌曲时，同样会注明仅供学习交流使用，严禁商用。
不过仍有未经授权复刻明星声音的案例出现，为了避免引起更严重的法律问题，Sovits开发者Rcell发布紧急公告称已自行删库，现由svc-develop-team接手后续的代码维护和社区管理工作。
创作者的态度也比较谨慎。“罗斯特_x”表示自己发布AI孙燕姿翻唱视频完全是兴趣使然，再考虑到版权问题，所以不会开启收益激励和充电。
对音乐行业的专业人士来说，AI侵袭音乐版权可视作互联网侵权现象的延续，版权保护任重道远；而在另一方面，眼下音乐市场的内容创作和商业应用也开始与AI合作。
2022年6月，酷狗音乐推出基于“凌音引擎”、以杨超越真人声音打造的首个AI歌手“超越AI”，此后又陆续推出了8位AI歌手，最近AI说唱歌手柒月上线单曲《女侠》，挑战10秒唱85个字的中文说唱极限语速。
台湾歌手陈珊妮近期发布了最新单曲《教我如何做你的爱人》，随后她宣布这首歌其实由自己的AI模型演唱的。她认为，AI vocal要怎么唱，能唱得多好，终究需要专业音乐制作人，以人类的美学和经验去引导 AI。
曾就职于多家音乐流媒体平台版权部的李强，在接受“新音乐产业观察”采访时提到，AI正在分割音乐的“应用场景”，把“实用性”和“原创性”区别对待。“对于原创性需求不高的商业音乐应用场景，例如‘罐头音乐’，AI音乐会有很大的发展空间，因为这类音乐的需求明确，核心是像而非创造性，这更符合AI音乐的天然基因。”
对于大众来说，在合法合规的情况下，AI歌手仍有其市场需求。
作为娱乐消费的一种新形式，AI歌手能放大IP的声音价值，粉丝可以定制偶像/歌手/演员等人物演唱的歌曲，满足自己的审美需求，歌手和音乐平台也可以用AI创新营销，扩大知名度，从而获益。
面对AI音频技术的发展，有网友大胆畅想，以后听音乐的流程可能是这样的：打开APP-选择歌曲-选择歌手音色-点击播放，想听谁唱就听谁唱。
AI歌手同样降低了内容生产的参与门槛。考虑到唱几首歌就能生成自己的AI歌手，音乐小白或不懂技术的爱好者，也有机会创作歌曲、秒变歌星。