“除了嘴型之外，他們的額頭、眼睛、脖子的動(dòng)作和面部表情也都非常自然。”
在開發(fā)《賽博朋克2077》期間，“巫師”系列開發(fā)商CD Projekt Red與許多名人進(jìn)行了合作。例如，讓著名影星基努·里維斯扮演角色強(qiáng)尼銀手，而瑞典朋克樂隊(duì)Refused和加拿大流行歌手Grimes則參與了游戲里的音樂表演。
但你很可能從未聽說過Jali Research的名字。這是一家來自加拿大的面部動(dòng)畫公司，在《賽博朋克2077》的本地化過程中為CDPR提供了協(xié)助。
Jali成立于多倫多大學(xué)內(nèi)部，由博士生波夫·愛德華茲（Pif Edwards）、曾獲得奧斯卡獎(jiǎng)的動(dòng)畫師兼總監(jiān)克里斯·蘭德雷斯（Chris Landreth），以及尤金·富梅（Eugene Fiume）和卡蘭·辛格（Karan Singh）兩位教授聯(lián)合創(chuàng)辦。
起初愛德華茲的主要研究方向是面部動(dòng)畫，不過后來轉(zhuǎn)移到了語言表達(dá)上，因?yàn)樗J(rèn)為當(dāng)人們?cè)诒磉_(dá)想法時(shí)，幾乎總是在說話。他對(duì)當(dāng)時(shí)用來處理語音和動(dòng)畫的那些工具感到不滿，決定自己構(gòu)建新工具。
2016年，Jali向計(jì)算機(jī)圖形學(xué)會(huì)議SIGGRAPH提交了一篇將程序性講話作為主題的論文，CDPR在讀過那篇文章后與他們?nèi)〉寐?lián)系。
在2015年發(fā)售的《巫師3》中，CDPR使用算法來處理8種不同語言角色配音的面部動(dòng)畫，并在一定程度上取得了成功。不過，《賽博朋克2077》還有更遠(yuǎn)大的目標(biāo)，希望對(duì)10種語言的角色配音進(jìn)行口型同步，包括英語、德語、西班牙語、法語、意大利語、波蘭語、巴西葡萄牙語、俄語、中文普通話和日語。
CDPR將機(jī)器學(xué)習(xí)和基于規(guī)則的人工智能進(jìn)行了結(jié)合使用。其中，機(jī)器學(xué)習(xí)被用于“校準(zhǔn)”階段，目標(biāo)是讓機(jī)器弄清楚當(dāng)某個(gè)人說話時(shí)，究竟會(huì)發(fā)出哪些聲音。
“假設(shè)我們有一份音頻文件，里邊有人正在說‘Hello’?！盝ali聯(lián)合創(chuàng)始人兼首席技術(shù)官愛德華茲解釋道，“H音是從哪里開始，在哪里結(jié)束的？e、l和o的聲音又在哪里？我們會(huì)標(biāo)記特定語言的信息，然后訓(xùn)練一個(gè)機(jī)器學(xué)習(xí)過程，讓它使用數(shù)據(jù)來識(shí)別聲音?！?/p>
“之后你可以扔給它一句此前從未見過的新對(duì)話，而它將會(huì)預(yù)測(cè)聲音之間的界線，以及每個(gè)音素的持續(xù)時(shí)間。”
Jali接下來會(huì)進(jìn)入工作的第二階段，即動(dòng)畫制作。他使用老式基于規(guī)則的AI，以確定哪些面部動(dòng)作與角色正在發(fā)出的聲音相對(duì)應(yīng)。這套系統(tǒng)會(huì)對(duì)特定的輸入做出響應(yīng)，執(zhí)行操作。
“借助這種基于規(guī)則的方法，我們可以根據(jù)角色發(fā)音來判斷應(yīng)該采用哪種嘴型?！睈鄣氯A茲說，“例如，你在說‘dude’和‘you’時(shí)嘴型看上去很像，但它們是兩個(gè)完全不同的詞……當(dāng)你念出某些特定字母或聲音時(shí)，嘴型未必一成不變。你不能說這是個(gè)en音，所以我發(fā)音時(shí)嘴型就像這樣。你得考慮很多變量，包括字母前后有哪些其他音節(jié)等?！?/p>
“我們對(duì)語音做過大量研究，積累了各方面的很多不同知識(shí)，并制定了一系列規(guī)則。無論你正在發(fā)出什么聲音，無論不同語言在發(fā)音上有哪些區(qū)別，我們都知道需要配備怎樣的面部表情?！睈鄣氯A茲說。
這種技術(shù)結(jié)合的美妙之處在于，在機(jī)器學(xué)習(xí)過程的支持下，同一套基于規(guī)則的AI可以被運(yùn)用于多種不同方言?！拔覀儽仨氠槍?duì)每種語言專門訓(xùn)練機(jī)器學(xué)習(xí)過程，但動(dòng)畫的組成部分是相同的。我們沒有針對(duì)日語的特定動(dòng)畫模型，只有語言模型。”
“令我驚訝的是，語言學(xué)的一般規(guī)則適用于所有語言，但這很難……人們之所以不愿意進(jìn)行這類基于規(guī)則的工作，是因?yàn)槟悴坏貌涣私膺@些規(guī)則，需要耗費(fèi)很長(zhǎng)時(shí)間。”
Jali幫助開發(fā)團(tuán)隊(duì)節(jié)省了大量時(shí)間。平均而言，一位動(dòng)畫師需要花大約7小時(shí)才能做完單個(gè)角色在游戲里說1分鐘話的動(dòng)畫，而《賽博朋克2077》不但是一款含有巨量對(duì)話的大型RPG，還得支持10種不同語言配音的口型同步，顯然需要CDPR付出巨大的人力和時(shí)間成本。
從某種意義上講，借助這種本地化技術(shù)，《賽博朋克2077》還將世界各地的更多語言視為“一等語言”。很多時(shí)候，游戲發(fā)行商只會(huì)在作品中針對(duì)英語同步角色口型，在為其他語言做本地化時(shí)會(huì)進(jìn)行額外的配音，效果卻往往不盡人意。
“舉個(gè)例子，假設(shè)你想將一句對(duì)話從英語翻譯成法語。”愛德華茲解釋說，“翻譯后的版本可能比原句長(zhǎng)得多。許多游戲的做法僅僅是加長(zhǎng)動(dòng)畫，但看上去可能非常蠢。工作室不得不這么做，因?yàn)樗麄儾荒苤刈隹谛屯搅?。?/p>
“面部動(dòng)畫也很重要，Jali的技術(shù)讓所有元素顯得協(xié)調(diào)。當(dāng)你玩這款游戲時(shí)，會(huì)發(fā)現(xiàn)說普通話的角色確實(shí)就像在說普通話?！?/p>
有趣的是，CDPR在創(chuàng)辦初期就是以面向波蘭本土市場(chǎng)引進(jìn)海外游戲起家的。在過去，大多數(shù)波蘭人愿意玩盜版游戲，部分原因在于海外發(fā)行商不想花工夫?qū)⒂螒蚍g成波蘭語。隨著CDPR將更多精力放在翻譯和本地化上，越來越多的波蘭玩家愿意花錢購買正版游戲。
這種理念似乎一直延續(xù)至今。今年夏天，CDPR中國(guó)公關(guān)和市場(chǎng)總監(jiān)Darren Ding曾在社交媒體上透露，中國(guó)是《賽博朋克2077》預(yù)購?fù)婕覕?shù)量最多的國(guó)家。這既是因?yàn)橹袊?guó)人口眾多，也與《賽博朋克2077》在中文本地化方面的出色表現(xiàn)不無關(guān)系。
“我和一位俄羅斯同事聊過我們正在做些什么。”愛德華茲說，“他是《巫師3》的忠實(shí)粉絲，但只玩過英語版本，因?yàn)槟鞘恰段讕?》最受關(guān)注的版本。當(dāng)那位俄羅斯同事玩到《賽博朋克2077》時(shí)，他特別興奮，因?yàn)樗麑@得與那些說英語的人完全一樣的體驗(yàn)。”
“這是讓玩家進(jìn)一步沉浸于游戲的方式，能夠幫助他們不再出戲，真正深入體驗(yàn)故事?！?/p>
本文編譯自：gamesindustry.biz
原文標(biāo)題：《Why CD Projekt used AI to localise Cyberpunk 2077》
原作者：Alex Calvin
* 本文系作者投稿，不代表觸樂網(wǎng)站觀點(diǎn)。
