育碧的AI口型同步技术可能具有游戏以外的应用程序

导语：当有人说在游戏中提到AI时，我们肯定不会孤单，我们的思想会立即跳到NPC和敌人身上。他们的动作，他们的反应，他们的智慧。所有这些都是游戏AI的一部分。 但是，事实证明，人工智能远远超过游戏中的人工智能。与育碧La Forge技术研究项目负责人伊夫雅克(Yv

当有人说在游戏中提到AI时，我们肯定不会孤单，我们的思想会立即跳到NPC和敌人身上。他们的动作，他们的反应，他们的智慧。所有这些都是游戏AI的一部分。

但是，事实证明，人工智能远远超过游戏中的人工智能。与育碧La Forge技术研究项目负责人伊夫·雅克(Yves Jacques)交谈后，我们对如何利用人工智能使游戏开发更快，更负担得起以及改善所玩游戏的沉浸式质量有了更好的了解。 。

我们请雅克尔告诉我们有关育碧和拉佛格目前正在开发和使用的一些原型。他特别激动地讨论的一个AI驱动的项目是Sound Matching。他告诉我们，“直接从录制的演员那里获取wav文件，并驱动游戏中角色的面部动画”。

改善面部动画

杰奎尔解释说，没有人工智能，有几种方法可以进行面部动画。一种方法是手动操作，也可以使用运动捕捉来加速此过程，另一种方法是将文本分解为音素或不同的声音单元。使用这些，您可以形成不同的嘴唇动作，录制配音演员的讲话，然后用音素和动画的不同姿势映射声音。

Jacquier除了听起来完全疲惫之外，还告诉我们使用后一种方法的一个大问题是，它仅对英语有用，因为“您必须拥有庞大的数据库才能将文本转换为音素，但并非所有人都可靠”。不仅如此，“您无法改变诸如树皮和咳嗽之类的东西”。

“我们为游戏玩家带来了更高的质量，更强的沉浸感，并将预期的本地化动画成本降低了约30%”

伊夫·雅奎尔(Yves Jacquier)

当尝试将游戏本地化为英语以外的其他语言时，此限制会带来一些问题：“当我们想对游戏进行本地化时，我们要做很多工作，因为我们使用英语记录基线，然后记录所有其他语言，那么我们必须通过口形同步来通过英语动画同步每个句子。”

这不仅“创造低质量的体验，如果您使用英语以外的其他语言玩耍，会降低沉浸感”，而且还因为“请人们花费大量时间手动对齐和同步而花费很多时间”带有英语动画的外国句子”。

当我们听到看起来像化身的嘴唇运动那样简单的事情需要做大量的工作时，我们并不会对雅克对他的声音匹配AI的功能如此热情而感到惊讶。

成本更低，质量更高

他说：“它可以与声波一起工作，这意味着它可以以任何语言工作，并且可以直接创建嘴唇动画。” 结果就是“提高了质量，增强了玩家的沉浸感，并使预期的本地化动画成本降低了约30%”。

Jacquier表示，当AI允许您在开发过程中节省大量时间和金钱时，这意味着“我们可以将[这些努力]放在其他地方以提高游戏质量”。

那么，当游戏角色说话时，我们得到的是更加准确的面部动作。我们所有人都在玩游戏时注意到，有时候角色所说的话根本与他们的嘴唇动作不符。这绝不是破坏游戏的方式，只是有点偏离中心的绘画而令人讨厌。但这确实对育碧希望阻止的沉浸感产生了影响。

分支到其他领域

真正有趣的是，育碧正在使用该原型进行的工作也被医学等其他领域的其他研究人员所使用，因为他们发现他们也面临着同样的挑战。

杰奎尔继续说：“我不知道，但是在医学上，他们使用化身来治疗精神分裂症或焦虑症患者”。Jacquier很快告诉我们，他绝不是该领域的专家，但他的理解是，像视频游戏一样的化身被用来“帮助患者面对精神分裂症或担心焦虑的声音”。

那么，医学和游戏领域的交叉点就需要他们的化身具有令人信服的面部动画。杰奎尔补充说：“如果您开始不相信某种情况，开始不相信您实际上是在与化身交谈，那是真实的事情，治疗将失败。”

“如果您开始不相信某种情况，开始不相信您实际上是在与化身交谈，那是真实的事情，那么治疗将会失败”

伊夫·雅奎尔(Yves Jacquier)

大量的治疗都围绕着与化身交谈，这意味着患者将专注于嘴唇运动，因此医学研究人员正在寻找面部的这一部分特别准确。

杰奎尔说：“当我们与某人讲话时，我们的很多注意力都转移到了嘴上，尤其是当有噪音或您正试图专心时。“因此，如果嘴唇运动告诉您与所听到的有所不同，那么您就迷失了这个人。”

他告诉我们，那些正在制定这样的治疗计划的人对AI正在开发的AI表现出了极大的兴趣，“特别是Stephane Guay，他是心理健康研究所的主要研究人员，他试图采用更多技术来帮助患者，仅存在的药物和常规治疗”。

目前，Jacquier和他的团队仍在尝试确切地确定他们将如何合作，但是希望他们遵循的任何方式都将“改善我们的比赛及其待遇”。