近些年来,手机游戏用户的规模不断增长,各种现象级的爆款手游出现,使得手机游戏被逐渐视为一种新的社交方式。来自五湖四海的不同玩家可以依靠一款相同的手机游戏在彼此之间建立起沟通的桥梁,而游戏语音也成为玩家们游戏社交中不可或缺的一大重要道具。
除了游戏本身的品质外,玩家们也会留意游戏中的语音功能是否完善,各大游戏厂商也开始将语音交互功能划为重点关注内容。作为游戏界巨头之一的腾讯在最近发布了最新的游戏语音技术方案,腾讯游戏旗下的光子S工作室《和平精英》团队将携手腾讯游戏语音团队(腾讯AI Lab、腾讯游戏CROS GVoice)首次将AI Codec技术应用到《和平精英》游戏语音中。

移动游戏语音技术面临的两大难题
通过手游社交相关方面的数据统计结果表明,大多数的玩家会因为手游中的社交因素来选择是否要体验这款游戏,而游戏社交性差的游戏往往也更难留住玩家。因此很多游戏厂商都在努力提高游戏中的社交属性。
而游戏语音正是提升游戏社交性的一个有效手段,通过交流可以使得玩家们在游戏过程中有更高的参与感与更好的体验感。为了增添与好友之间的开黑体验,如今玩家们对于游戏语音的流畅性以及延迟时间都有了越来越高的要求。
一直以来,移动游戏中的实时语音功能都在不断寻求更好的发展方向。因为手机游戏的实时语音交流并不像实现实时通话那样简单,除了要在语音的听感质量上符合大众的要求和标准外,还得尽量降低传输码率,以此来降低用户耗费的流量以及CPU的能耗。
与PC端相比,移动端的网络本就不够稳定,确保语音交流流畅也成为了游戏语音技术面临的一大难题。在同样的语音质量下,语音信息的码率越低,就越能保障语音的连贯性,而移动网的环境就注定了要寻求更低码率的语音传输。
除了语音的连贯性外,还要在尽量减少游戏语音对手机CPU以及内存的占用下,来保障语音功能的使用。因此,减少游戏语音对CPU和内存的占用也是游戏语音技术面临的另一大难题。
人工智能为语音技术带来发展新思路
俗话说得好,有需求就有市场,为了解决移动游戏语音技术的难题,众多国内外的科技企业都开始着手研究这一领域。随着对科学技术的学习和探索,传统的音频解码技术Codec也迎来了新的发展。完全基于神经网络的语音编码器逐渐代替了原本传统的基于信号处理的方法,在此基础上,基于人工智能技术进化而来的AI Codec也开始受到业界的关注。
早在2019年时,游戏行业就涌现出一批超低码率的AI Codec模型,可以以极低的码率来对语音进行压缩,但是通过这种方式传播出的语音质量并不尽人意。
而2021年初时,Google也发布了基于自回归网络的AI Codec Lyra。相较之于此前涌现的AI Codec技术,Lyra不仅能够以极低的码率传输,还能保证声音传输的质量。但是Lyra的算法上存在延迟的问题,并不能提供高质量的实时通信功能。
为了解决这个问题,Google又在半年之后再次发布了全新的AI Codec模型SoundStream,这次不仅有之前Lyra的优点,在语音传输质量方面也有所提升。美中不足的是,SoundStream模型的复杂度较高,大多数的手机都不能支持他平稳运行。
《和平精英》成为首个运用AI Codec语音技术的移动游戏
面对语音技术的难题,国内的厂商也在尽力探索这一方面的解决方案。
作为一款现象级的爆款手游,《和平精英》中游戏语音功能的使用率极高,所以游戏语音的品质问题也是影响玩家们游戏体验的一大核心问题。《和平精英》团队一直在努力提升游戏的品质,给予玩家们更好的游戏体验,因此,语音技术也是团队最为关注的部分之一。
在2021年年底,《和平精英》团队就携手腾讯游戏语音团队建立了GVoice AI Codec研发项目,双方基于此前腾讯游戏语音团队在语音编解码方面的积累,尽力实现更为高质量并且低码率低功耗的实时语音技术。在对《和平精英》游戏中场景的深度优化之后,GVoice AI Codec取得了优异的表现。即使在移动网的环境下,也能以低码率传输,并且还能保证语音的质量和效果。
从相关资料中我们了解到,GVoice AI Codec是通过自研的编解码模型算法,压缩传输带宽,以新的AI Codec 替换了原本传统 的Opus,从而使得在保证玩家们实时语音质量的同时,传输码率更低,消耗更少的流量,占用更小的内存空间。
在算力消耗方面,GVoice AI Codec通过模型压缩等多种工程化措施,不断地降低运算以及资源开销来达到移动端落地的要求。在测试中,新研发出的GVoice AI Codec相较之于传统的Opus,用更低的CPU使用率增幅,换来了流量消耗更低并且更为高质量的实时通话。
下面这张图中,左侧是原始语音,而右侧是由GVoice AI Codec编解码后的语音。从波形上可以看出右图的保真度极高,用户在主观听觉上的体验无限接近原始语音。
自从GVoice AI Codec在《和平精英》中得到了应用之后,玩家们语音开黑体验可以说是直接拉满了。即使在户外使用移动网络,GVoice AI Codec也能极大提升语音的流畅性,避免玩家们在战斗中出现卡麦、断麦,从而导致战斗失利的情况。此外,玩家们的语音将会通过GVoice AI Codec使用的AI模型算法,从而达到更加清晰的效果。
在项目组的努力下,《和平精英》成为了首个运用AI Codec语音技术的移动游戏。但这仅仅只是个起点,GVoice AI Codec在《和平精英》中的成功运用,为此后其他游戏中的语音技术研发提供了基础。
相信在未来,GVoice AI Codec技术还将进一步发挥自身的作用,尽力为各位玩家们带来更好的游戏语音体验。




