“除了嘴型之外，他們的額頭、眼睛、脖子的動作和面部表情也都非常自然?！?/p>
在開發(fā)《賽博朋克2077》期間，“巫師”系列開發(fā)商CD Projekt Red與許多名人進(jìn)行了合作。例如，讓著名影星基努·里維斯扮演角色強(qiáng)尼銀手，而瑞典朋克樂隊(duì)Refused和加拿大流行歌手Grimes則參與了游戲里的音樂表演。
但你很可能從未聽說過Jali Research的名字。這是一家來自加拿大的面部動畫公司，在《賽博朋克2077》的本地化過程中為CDPR提供了協(xié)助。
Jali成立于多倫多大學(xué)內(nèi)部，由博士生波夫·愛德華茲（Pif Edwards）、曾獲得奧斯卡獎的動畫師兼總監(jiān)克里斯·蘭德雷斯（Chris Landreth），以及尤金·富梅（Eugene Fiume）和卡蘭·辛格（Karan Singh）兩位教授聯(lián)合創(chuàng)辦。
起初愛德華茲的主要研究方向是面部動畫，不過后來轉(zhuǎn)移到了語言表達(dá)上，因?yàn)樗J(rèn)為當(dāng)人們在表達(dá)想法時，幾乎總是在說話。他對當(dāng)時用來處理語音和動畫的那些工具感到不滿，決定自己構(gòu)建新工具。
2016年，Jali向計(jì)算機(jī)圖形學(xué)會議SIGGRAPH提交了一篇將程序性講話作為主題的論文，CDPR在讀過那篇文章后與他們?nèi)〉寐?lián)系。
在2015年發(fā)售的《巫師3》中，CDPR使用算法來處理8種不同語言角色配音的面部動畫，并在一定程度上取得了成功。不過，《賽博朋克2077》還有更遠(yuǎn)大的目標(biāo)，希望對10種語言的角色配音進(jìn)行口型同步，包括英語、德語、西班牙語、法語、意大利語、波蘭語、巴西葡萄牙語、俄語、中文普通話和日語。
CDPR將機(jī)器學(xué)習(xí)和基于規(guī)則的人工智能進(jìn)行了結(jié)合使用。其中，機(jī)器學(xué)習(xí)被用于“校準(zhǔn)”階段，目標(biāo)是讓機(jī)器弄清楚當(dāng)某個人說話時，究竟會發(fā)出哪些聲音。
“假設(shè)我們有一份音頻文件，里邊有人正在說‘Hello’。”Jali聯(lián)合創(chuàng)始人兼首席技術(shù)官愛德華茲解釋道，“H音是從哪里開始，在哪里結(jié)束的？e、l和o的聲音又在哪里？我們會標(biāo)記特定語言的信息，然后訓(xùn)練一個機(jī)器學(xué)習(xí)過程，讓它使用數(shù)據(jù)來識別聲音?！?/p>
“之后你可以扔給它一句此前從未見過的新對話，而它將會預(yù)測聲音之間的界線，以及每個音素的持續(xù)時間?！?/p>
Jali接下來會進(jìn)入工作的第二階段，即動畫制作。他使用老式基于規(guī)則的AI，以確定哪些面部動作與角色正在發(fā)出的聲音相對應(yīng)。這套系統(tǒng)會對特定的輸入做出響應(yīng)，執(zhí)行操作。
“借助這種基于規(guī)則的方法，我們可以根據(jù)角色發(fā)音來判斷應(yīng)該采用哪種嘴型。”愛德華茲說，“例如，你在說‘dude’和‘you’時嘴型看上去很像，但它們是兩個完全不同的詞……當(dāng)你念出某些特定字母或聲音時，嘴型未必一成不變。你不能說這是個en音，所以我發(fā)音時嘴型就像這樣。你得考慮很多變量，包括字母前后有哪些其他音節(jié)等?！?/p>
“我們對語音做過大量研究，積累了各方面的很多不同知識，并制定了一系列規(guī)則。無論你正在發(fā)出什么聲音，無論不同語言在發(fā)音上有哪些區(qū)別，我們都知道需要配備怎樣的面部表情。”愛德華茲說。
這種技術(shù)結(jié)合的美妙之處在于，在機(jī)器學(xué)習(xí)過程的支持下，同一套基于規(guī)則的AI可以被運(yùn)用于多種不同方言?！拔覀儽仨氠槍γ糠N語言專門訓(xùn)練機(jī)器學(xué)習(xí)過程，但動畫的組成部分是相同的。我們沒有針對日語的特定動畫模型，只有語言模型?！?/p>
“令我驚訝的是，語言學(xué)的一般規(guī)則適用于所有語言，但這很難……人們之所以不愿意進(jìn)行這類基于規(guī)則的工作，是因?yàn)槟悴坏貌涣私膺@些規(guī)則，需要耗費(fèi)很長時間?！?/p>
Jali幫助開發(fā)團(tuán)隊(duì)節(jié)省了大量時間。平均而言，一位動畫師需要花大約7小時才能做完單個角色在游戲里說1分鐘話的動畫，而《賽博朋克2077》不但是一款含有巨量對話的大型RPG，還得支持10種不同語言配音的口型同步，顯然需要CDPR付出巨大的人力和時間成本。
從某種意義上講，借助這種本地化技術(shù)，《賽博朋克2077》還將世界各地的更多語言視為“一等語言”。很多時候，游戲發(fā)行商只會在作品中針對英語同步角色口型，在為其他語言做本地化時會進(jìn)行額外的配音，效果卻往往不盡人意。
“舉個例子，假設(shè)你想將一句對話從英語翻譯成法語?！睈鄣氯A茲解釋說，“翻譯后的版本可能比原句長得多。許多游戲的做法僅僅是加長動畫，但看上去可能非常蠢。工作室不得不這么做，因?yàn)樗麄儾荒苤刈隹谛屯搅??！?/p>
“面部動畫也很重要，Jali的技術(shù)讓所有元素顯得協(xié)調(diào)。當(dāng)你玩這款游戲時，會發(fā)現(xiàn)說普通話的角色確實(shí)就像在說普通話?！?/p>
有趣的是，CDPR在創(chuàng)辦初期就是以面向波蘭本土市場引進(jìn)海外游戲起家的。在過去，大多數(shù)波蘭人愿意玩盜版游戲，部分原因在于海外發(fā)行商不想花工夫?qū)⒂螒蚍g成波蘭語。隨著CDPR將更多精力放在翻譯和本地化上，越來越多的波蘭玩家愿意花錢購買正版游戲。
這種理念似乎一直延續(xù)至今。今年夏天，CDPR中國公關(guān)和市場總監(jiān)Darren Ding曾在社交媒體上透露，中國是《賽博朋克2077》預(yù)購?fù)婕覕?shù)量最多的國家。這既是因?yàn)橹袊丝诒姸啵才c《賽博朋克2077》在中文本地化方面的出色表現(xiàn)不無關(guān)系。
“我和一位俄羅斯同事聊過我們正在做些什么?！睈鄣氯A茲說，“他是《巫師3》的忠實(shí)粉絲，但只玩過英語版本，因?yàn)槟鞘恰段讕?》最受關(guān)注的版本。當(dāng)那位俄羅斯同事玩到《賽博朋克2077》時，他特別興奮，因?yàn)樗麑@得與那些說英語的人完全一樣的體驗(yàn)?！?/p>
“這是讓玩家進(jìn)一步沉浸于游戲的方式，能夠幫助他們不再出戲，真正深入體驗(yàn)故事?！?/p>
本文編譯自：gamesindustry.biz
原文標(biāo)題：《Why CD Projekt used AI to localise Cyberpunk 2077》
原作者：Alex Calvin
* 本文系作者投稿，不代表觸樂網(wǎng)站觀點(diǎn)。
