游戲運(yùn)營事故有哪些？這篇長文將帶領(lǐng)我們回到事故現(xiàn)場，以騰訊為例，講述旗下3款產(chǎn)品4次運(yùn)營事故究竟是如何發(fā)生的，以及從中得到了哪些教訓(xùn)。
作為國內(nèi)一線游戲廠商，騰訊游戲曾經(jīng)也經(jīng)歷過數(shù)次令人后怕的運(yùn)營事故。如今到了運(yùn)營比重更大的手游行業(yè)，回過頭來看更有一種警惕作用。知乎用戶魏喵俠將帶領(lǐng)我們回到事故現(xiàn)場，講述騰訊旗下3款產(chǎn)品4次運(yùn)營事故究竟是如何發(fā)生的，以及從中得到了哪些教訓(xùn)。
本文是知乎用戶魏喵俠發(fā)于知乎網(wǎng)的文章，在獲得作者授權(quán)后于本站發(fā)布。
《凱旋》是騰訊代理IMAZIC的一款3D大型網(wǎng)游，也是騰訊試水網(wǎng)絡(luò)游戲市場的第一款產(chǎn)品。為此騰訊在上海專門組建了網(wǎng)絡(luò)游戲事業(yè)部來負(fù)責(zé)該產(chǎn)品的運(yùn)營工作，該游戲從2003年8月1日正式公測上市。
與其他QQ游戲不同的是，《凱旋》并不是全部都是用QQ賬戶登陸的游戲，而是專設(shè)了“鳳凰專區(qū)”供QQ用戶使用，其他服務(wù)器組則是采用點(diǎn)卡計費(fèi)制度且另設(shè)賬戶運(yùn)營的。該游戲由于騰訊運(yùn)營不當(dāng)，于2009年12月25日停止運(yùn)營。
《凱旋》在當(dāng)時是一款非常高端的產(chǎn)品，3D畫面效果優(yōu)秀出色，采用了無縫地圖技術(shù)、真實裝備Avatar、任務(wù)鏈設(shè)計、寵物系統(tǒng)等等，設(shè)計理念新穎，市場影響力大。
當(dāng)時騰訊在上海成立的游戲運(yùn)營部門的架構(gòu)是如上圖的一個大概情況，因為游戲的研發(fā)商為韓方，所以為了保證與研發(fā)對接，有很多翻譯接口。
MiniBoss事故
2003年8月游戲公測之后，各項指標(biāo)還是令人滿意的的，在2003年10月期間，策劃們希望策劃一些線上的活動，以便繼續(xù)沖高在線數(shù)。MiniBoss是其中的一個環(huán)節(jié)。
MiniBoss事故記錄
1. 由策劃部提出希望在國慶節(jié)期間開展一個在線活動，營造游戲中的節(jié)日氣氛，并提高節(jié)日期間在線；
2. 活動策劃案需求轉(zhuǎn)交韓方后，韓方回復(fù)他們正好新開發(fā)了一個類似的活動包，可供我們使用；這個活動包的內(nèi)容主要是將游戲內(nèi)地底深處的超級BOSS縮小后隨機(jī)放到地面刷出，供普通玩家挑戰(zhàn)，并且還有機(jī)會獲得珍貴寶石；
3. 策劃部門同意采用該活動包，作為國慶期間節(jié)日活動的一部份，并相應(yīng)準(zhǔn)備了相關(guān)的網(wǎng)站宣傳內(nèi)容； 活動包由韓方提供給海外部，同時策劃部之前提供了測試需求給海外部，海外部測試后認(rèn)為符合需求，因此交給了技術(shù)部，然后技術(shù)部安排了自動更新的腳本，在10月1日凌晨自動啟動；
4. 十一期間，部門放假，活動自動執(zhí)行，結(jié)果因為一些細(xì)節(jié)設(shè)計問題和寶石產(chǎn)出幾率過高，導(dǎo)致活動期間珍貴寶石大量產(chǎn)出，玩家采用自動化方法大量獲取珍貴寶石后對整個經(jīng)濟(jì)系統(tǒng)產(chǎn)生巨大影響； 流通道具的大量產(chǎn)生導(dǎo)致了一系列問題，游戲體驗被迅速透支，流失玩家數(shù)量驚人；
5. 假期結(jié)束后，整個游戲在線由4W多下跌到不足2W，游戲內(nèi)經(jīng)濟(jì)崩潰，物價異常變動，大量忠實玩家離開，流失玩家數(shù)量巨大。因此事故時間太久，無法回檔，官方已經(jīng)沒有任何辦法消除事故影響； 經(jīng)此打擊之后，《凱旋》的游戲在線一直未能得到恢復(fù)，之后再未突破過4W水平，在線持續(xù)下跌到停服時的不足千人。
上圖可以看出來，當(dāng)時騰訊的運(yùn)營團(tuán)隊架構(gòu)還有很多不合理，每個團(tuán)隊在這一事件之中都有錯誤，但是都無法避免，其后果就是整個運(yùn)營團(tuán)隊抱團(tuán)滾向事故。
其次，發(fā)生事故時沒有一個負(fù)責(zé)人來承擔(dān)責(zé)任或者組織事態(tài)繼續(xù)發(fā)生，在事故發(fā)生之后，也沒有人來組織各團(tuán)隊的失誤和對接方式。
白裝備事故
2004年1月15日《凱旋》發(fā)布一個新版本時出現(xiàn)的一個Bug，導(dǎo)致部分玩家背包中的帶屬性的綠色、藍(lán)色等高級裝備變成沒有屬性的白色裝備，同時還出現(xiàn)部分玩家角色消失問題。
在騰訊測試時，未及時發(fā)現(xiàn)此問題。更新后，開始陸續(xù)接到玩家投訴，技術(shù)部檢查后確認(rèn)是游戲Bug造成，于是通過商務(wù)部向韓方提出緊急修復(fù)的需求，同時開始逐個手工處理玩家投訴。
當(dāng)天下午的時候，玩家投訴量達(dá)到400單，技術(shù)部門開始通宵處理，到次日凌晨投訴量已經(jīng)上升到1500單，手工處理已經(jīng)無法承擔(dān)。這時候因為北京的展會緣故，相關(guān)領(lǐng)導(dǎo)均不在公司，一直無人拍板最終處理方案，只能繼續(xù)手工處理。
2004年1月16日下午，韓方發(fā)來一個統(tǒng)計工具，用于統(tǒng)計受損的賬戶數(shù)量。經(jīng)過統(tǒng)計后發(fā)現(xiàn)受影響賬號竟然在10萬以上，于是又經(jīng)過漫長討論，最終決定回檔。
此時距離發(fā)現(xiàn)問題已經(jīng)過了30多個小時，需回檔時間近2天，受影響活躍玩家?guī)资f人； 回檔過程中，再次發(fā)現(xiàn)數(shù)據(jù)異常，無法啟動服務(wù)器，游戲停機(jī)時間一再延長，在18個多小時后才恢復(fù)了服務(wù)；經(jīng)此打擊，更多的活躍玩家離開了《凱旋》，游戲在線下跌到1萬余。
對于回檔這種很平常的手法，當(dāng)年的騰訊是既沒有預(yù)案也沒有演練，在事情發(fā)生后最終執(zhí)行的一團(tuán)糟。在此之后，騰訊游戲運(yùn)營部門針對問題作了很多調(diào)整，以下是2008年騰訊大講堂分析這些事故后得到的教訓(xùn)。
2. 對于緊急事故必須有完備的處理預(yù)案和責(zé)任人制度。對于重大的備份恢復(fù)操作，平時要經(jīng)常演習(xí)熟悉；
3. 對于風(fēng)險評估和具體應(yīng)對，我們還需要更多的經(jīng)驗。對于用戶管理和運(yùn)營維護(hù)方面的經(jīng)驗缺乏，輿論導(dǎo)向控制不力，用戶反饋收集緩慢，信息不全，用戶體驗很差；
4. 最重要的是，我們需要一個符合網(wǎng)游產(chǎn)品運(yùn)營特點(diǎn)的團(tuán)隊管理結(jié)構(gòu)。
再此之后，騰訊游戲?qū)τ谶\(yùn)營團(tuán)隊進(jìn)行了個大面積的調(diào)整，使之更加符合國內(nèi)游戲的運(yùn)營。
《QQ堂》是一款仿《泡泡堂》的休閑游戲，從2004年6月開始開發(fā)，12月30日正式公測上市，2005年7月1日發(fā)布正式版本，游戲最高在線一度達(dá)到22萬最高同時在線，注冊用戶數(shù)多達(dá)數(shù)千萬玩家。
相比運(yùn)營《凱旋》，《QQ堂》的團(tuán)隊已經(jīng)成熟了很多，《QQ堂》產(chǎn)品第一次建立了產(chǎn)品運(yùn)營團(tuán)隊，雖然才3個產(chǎn)品人員，但是已經(jīng)開始建立項目和產(chǎn)品的負(fù)責(zé)制。同時，部門也逐漸開始嘗試將技術(shù)主導(dǎo)型的工作模式轉(zhuǎn)變產(chǎn)品運(yùn)營主導(dǎo)型的工作模式。
《QQ堂》如果誕生在別的公司，注定將成為一個沒有任何市場反應(yīng)就會迅速失敗的產(chǎn)品，但是騰訊的平臺給這個產(chǎn)品源源不斷的送去了用戶，讓產(chǎn)品研發(fā)運(yùn)營團(tuán)隊得以生存，得以學(xué)習(xí)和提高。在運(yùn)營了7個月后，產(chǎn)品運(yùn)營團(tuán)隊開始逐漸找到了感覺，終于開始學(xué)會如何掌控這個產(chǎn)品，7月的正式版本之后，《QQ堂》慢慢發(fā)力，在線開始節(jié)節(jié)上升。 但糟糕的是，產(chǎn)品團(tuán)隊信心十足，甚至開始變得有點(diǎn)急功近利了。
2005年8月到9月間，騰訊游戲的另外一款重量級產(chǎn)品《QQ幻想》的跳票，互娛系統(tǒng)的月度考核指標(biāo)遇到了極大的挑戰(zhàn)，騰訊游戲所以在運(yùn)營產(chǎn)品都要求設(shè)法拉高收入，嚴(yán)守KPI底線。
《QQ堂》當(dāng)時在線狀況發(fā)展良好，于是增加收入的重?fù)?dān)一下掉到了《QQ堂》的身上，在幾次風(fēng)暴會議后，多個營銷性質(zhì)項目開始啟動。其中，有一個博彩類的項目非常被大家看好，這個項目叫做《QQ堂》“歡樂幸運(yùn)星”抽獎活動。
2005年9月29日晚8點(diǎn)，在經(jīng)過研發(fā)測試部門加班加點(diǎn)的緊張開發(fā)之后，“歡樂幸運(yùn)星”活動如期開發(fā)完畢，并按照版本計劃，更新到了外網(wǎng)環(huán)境。
8點(diǎn)半鐘，運(yùn)營團(tuán)隊接客服報告，聲稱有兩名玩家已經(jīng)中到1千萬游戲幣的大獎。運(yùn)營團(tuán)隊按照緊急預(yù)案召集所有相關(guān)人員趕回公司處理。
9點(diǎn)多，客服方面再次匯報，已經(jīng)確認(rèn)Bug存在，有大量玩家重復(fù)中獎，運(yùn)營負(fù)責(zé)人要求立即關(guān)閉道具售賣系統(tǒng)。
10點(diǎn)前，運(yùn)維同事關(guān)閉了道具售賣服務(wù)器，產(chǎn)品、研發(fā)、運(yùn)維、測試等各線人員趕到，馬上召開了事故分析處理會議，并通知平臺線方面同事協(xié)助。
11點(diǎn)，事故原因查明，得到事故初步損失統(tǒng)計，參與得利玩家第一批名單也已經(jīng)獲得，運(yùn)營團(tuán)隊開始要求各方面協(xié)助攔截非法游戲幣。
至此，堪稱騰訊游戲史上最嚴(yán)重的事故就這么發(fā)生了，仔細(xì)看一下其發(fā)生的過程，在今天看起來甚至有一點(diǎn)可笑。至于有多嚴(yán)重，我慢慢說。
在抽獎活動的設(shè)置中，集齊一套道具（7塊多Q幣），可能中獎1000萬游戲幣（相當(dāng)于1000Q幣），一般情況概率應(yīng)該是萬分之零點(diǎn)六。但策劃文檔幾經(jīng)修改后，中獎表格已經(jīng)出現(xiàn)了很多錯誤。而策劃評審、運(yùn)營評審、程序?qū)崿F(xiàn)各個環(huán)節(jié)中，居然都沒有發(fā)現(xiàn)中獎列表的機(jī)率加起來已經(jīng)不是100%了。
程序?qū)崿F(xiàn)后提交測試組測試兩輪，在測試中因為沒有使用大量QB來進(jìn)行真實的模擬測試，所以居然沒有發(fā)現(xiàn)概率方面存在異常。種種錯誤累加起來使26%概率的特等獎終于出現(xiàn)在了外網(wǎng)環(huán)境中。
從當(dāng)晚8點(diǎn)多發(fā)布活動到10點(diǎn)之前關(guān)閉這個活動，僅一個多小時共產(chǎn)生游戲幣21億，有700多名用戶參與了刷取游戲幣。
由于錢的數(shù)量巨大，玩家四處轉(zhuǎn)移游戲幣。而凍結(jié)賬戶方面沒有預(yù)案，雖然緊急處理及時，但凍結(jié)不徹底，扣款程序又出問題等, 最終損失還是構(gòu)成了一級事故。
事后總結(jié)
1. 需求文檔需要更仔細(xì)check，評審環(huán)節(jié)的疏漏非常嚴(yán)重；
2. 任何概率類設(shè)計都需要設(shè)置總量控制，設(shè)置多級閥門控制，不要把能廣泛流通的貨幣或者道具直接及時的交到玩家手上，不要獎勵；
3. 緊急預(yù)案不夠完善，只考慮到產(chǎn)品范圍內(nèi)的各種處理方案，沒有考慮如果在部門或者公司級平臺上出現(xiàn)問題后的處理措施；
4. 在處理過程中，產(chǎn)品人員才驚奇地發(fā)現(xiàn)，原來還有游戲幣銀行這樣的東西；
5. 在要求各個方面協(xié)助凍結(jié)相關(guān)賬戶的時候，各系統(tǒng)才開始編寫相關(guān)的程序進(jìn)行掃描和回扣，這其中又發(fā)生新的Bug，但是多次扣款失敗，使損失額度沒有能得到很好的控制。
“歡樂幸運(yùn)星”事件之后，騰訊游戲停止了所有涉及抽獎Q幣、游戲幣的活動，再不涉及任何通過平臺渠道發(fā)放Q幣的活動，以避免風(fēng)險?！禥Q堂》團(tuán)隊也停止了這種直接通過抽獎獲利的營銷活動，開始繼續(xù)專注于游戲內(nèi)容的設(shè)計和付費(fèi)挖掘。
2006年2月份，《QQ堂》一系列游戲活動獲得成功，同時在線達(dá)到22萬高點(diǎn)，收入也實現(xiàn)了連續(xù)翻番，《QQ堂》道具營銷方面經(jīng)驗讓很多產(chǎn)品學(xué)習(xí)得益。
《QQ幻想》是騰訊的一款戰(zhàn)略級產(chǎn)品，是騰訊游戲自主研發(fā)了3年多的首款MMOG產(chǎn)品。這款產(chǎn)品也是騰訊游戲在《凱旋》項目失利之后，再次嘗試運(yùn)營的MMOG產(chǎn)品。該款產(chǎn)品2005年10月25日公測，最高同時在線用戶數(shù)一度達(dá)到66萬，是互娛重要的收入產(chǎn)品。
雖然借助騰訊平臺的強(qiáng)大力量，《QQ幻想》獲得了公測的良好效果，但是游戲設(shè)計，運(yùn)營理念方面的一些不足還是讓產(chǎn)品在線不斷下挫。收費(fèi)后，產(chǎn)品在線已經(jīng)不足公測時的一半.在一年多運(yùn)營過程中，這個項目也不斷出現(xiàn)過不同程度的事故，在線活動的投訴率一直居高不下。
2006年11月12日下午3點(diǎn)，客服方面報告，在游戲中出現(xiàn)一個開店售賣的Bug，會導(dǎo)致開店商人顯示的物品列表和實際不符。有玩家利用此漏洞進(jìn)行欺詐，導(dǎo)致大量用戶投訴，已經(jīng)構(gòu)成一級突發(fā)事故，事故已經(jīng)分派到三線。
接報后，產(chǎn)品經(jīng)理和服務(wù)端主程趕到公司處理。經(jīng)過分析，發(fā)現(xiàn)是因為客戶端Bug導(dǎo)致看到的要買的寵物和實際要買的寵物不一致，從而被玩家利用進(jìn)行欺詐。產(chǎn)品方面分析了具體過程和投訴單據(jù)后認(rèn)為該問題比較嚴(yán)重必須盡快解決，因此打電話通知測試組運(yùn)維組，準(zhǔn)備進(jìn)行緊急更新。
因為客戶端方面人員一時聯(lián)系不到，因此PM決定從服務(wù)端解決該問題。PM提出兩個臨時解決方案，一個是帶寵物商品交易會直接失敗，一個是帶寵物商品交易，寵物商品會自動回到玩家背包。產(chǎn)品方面建議采用后者方案，比如不容易引起玩家困惑。
下午5點(diǎn)，臨時修改完畢，程序在內(nèi)網(wǎng)更新，測試組進(jìn)行了測試。6點(diǎn)，更新到外網(wǎng)一臺服務(wù)器，經(jīng)過一個小時觀察感覺正常，7點(diǎn)半進(jìn)行了全服更新，產(chǎn)品方面在官網(wǎng)和論壇發(fā)布了暫停交易公告。再繼續(xù)觀察了半小時無異常，產(chǎn)品方面和客服方面溝通之后，大家回家吃晚飯。實際此時，一個極其嚴(yán)重的Bug已經(jīng)被不知不覺得放到外網(wǎng)了。
1. 一個游戲道具復(fù)制漏洞實際上已經(jīng)被部分玩家發(fā)現(xiàn)，玩家在不斷利用這個Bug復(fù)制道具的同時，開始通過各種途徑傳播這個問題：游戲內(nèi)各種論壇和QQ群；
2. 越來越多的用戶開始利用這個Bug復(fù)制道具，而且用戶開始意識到大量非法道具一定會被官方查處，因此開始設(shè)法用各種各樣的方式轉(zhuǎn)移復(fù)制出來的非法道具；
3. 晚上8點(diǎn)多客服報告，開店售賣可能還是存在問題。程序組測試組趕回公司處理，分析后認(rèn)為下午的修改，有極低概率可能導(dǎo)致道具復(fù)制，并且及時修改了這個問題；
4. 晚上9點(diǎn)半，程序方面回報問題已經(jīng)解決完畢，按問題出現(xiàn)概率來看，帶來影響應(yīng)該不大。因此產(chǎn)品方面就沒有將此問題升級到事故處理流程進(jìn)行分析處理。
至此，最后能挽救這個裝備復(fù)制Bug的時機(jī)被錯過了。
2006年11月13日，產(chǎn)品方面發(fā)現(xiàn)用戶反饋意見很多，問題比較嚴(yán)重，于是要求程序組重新分析原因，要求運(yùn)維組統(tǒng)計道具復(fù)制問題的程度。
測試組重現(xiàn)Bug后發(fā)現(xiàn)還有更簡單的重現(xiàn)辦法，復(fù)制門檻很低。運(yùn)維統(tǒng)計的初步結(jié)果也表現(xiàn)涉及復(fù)制玩家多達(dá)千名，于是召集事故處理會議進(jìn)行討論。
事故處理會議決定先對嫌疑最大的963個賬號進(jìn)行查封處理，以防止復(fù)制道具進(jìn)一步流傳，同時開始進(jìn)行掃描分析。
因為事故發(fā)生已經(jīng)過去10多個小時，復(fù)制物品游戲內(nèi)流向已經(jīng)非常復(fù)雜，但是最近的數(shù)據(jù)備份時間卻是在凌晨4點(diǎn)，在事故發(fā)生之后，再近一次的備份時間是前天的凌晨4點(diǎn)。運(yùn)營方面陷入兩難境地，無論是否回檔都面臨重大損失。
事故處理小組無法迅速做出回檔決定，于是一方面向BU層面報告，一方面決定采用保守方案，掃描全服務(wù)器數(shù)據(jù)，以查找并凍結(jié)復(fù)制裝備。
到中午時間，數(shù)千個擁有復(fù)制裝備的賬號已經(jīng)被凍結(jié)，但是游戲內(nèi)仍然有大量復(fù)制道具仍然還在流通，整個游戲的物價受到劇烈影響，經(jīng)濟(jì)系統(tǒng)陷入混亂之中。
為了穩(wěn)定玩家情緒，運(yùn)營團(tuán)隊通過官網(wǎng)發(fā)布公告，道歉并宣稱不會回檔處理，官方有能力收回非法裝備，希望大家給與支持。
到下午時間，掃描數(shù)據(jù)的工作已很難取得成效，大量無意購買復(fù)制裝備被封號的玩家也開始激烈投訴。各渠道的一線客服壓力劇增，大量人力被調(diào)派來協(xié)助處理，數(shù)以千計的投訴單據(jù)給產(chǎn)品方面增加了巨大壓力。在這樣巨大的壓力下，運(yùn)營組決定先停止服務(wù)器，然后再決定具體處理方案。
此前運(yùn)營團(tuán)隊做出了不回檔承諾，超越48小時的回檔帶來的損失、回檔全部57組服務(wù)大區(qū)數(shù)據(jù)的難度和風(fēng)險、回檔后會產(chǎn)生的各種用戶的海量投訴。另一邊是玩家越來越激烈的抗議情緒、游戲內(nèi)混亂的經(jīng)濟(jì)系統(tǒng)、接近崩潰的物價和無數(shù)根本就無法處理的投訴。
所有游戲部門高管決定召開第二輪的事故處理討論會議，會議到晚上1點(diǎn)鐘做出決定，最終決定不惜一切損失和風(fēng)險進(jìn)行回檔。接著運(yùn)維組開始連夜準(zhǔn)備回檔方案，程序組開始制作各種工具，產(chǎn)品組開始準(zhǔn)備相關(guān)公告和補(bǔ)償方案。
那天深夜，回檔的公告在經(jīng)過了無數(shù)人的反復(fù)的，斟字酌句的修改后，最后終于在向玩家承諾公布處理方案時限的最后半小時放到了官方網(wǎng)站上。
早晨8點(diǎn)，回檔成功，服務(wù)器分批開始重新開放。
從上圖可以看出，事故對游戲在線人數(shù)和收入都有很大的沖擊，更糟糕的，與此同時，產(chǎn)生了輿論危機(jī)，南方周末用大幅篇章報道了這次負(fù)面事件。
《QQ幻想》游戲在經(jīng)歷了這次波折之后，游戲衰退速度明顯加快，到次年3月份在線人氣已經(jīng)跌破10萬，游戲產(chǎn)品生命周期臨近。這之后，《QQ幻想》還經(jīng)歷了一次727寵物捕捉系統(tǒng)事故，幻想產(chǎn)品正式進(jìn)入快速衰退期。
項目組從2007年初開始探索免費(fèi)網(wǎng)游運(yùn)營模式，制定了幻想“突圍”研發(fā)計劃，利用幻想已有資源在3個月內(nèi)制作出一款采用免費(fèi)運(yùn)營模式的《QQ自由幻想》產(chǎn)品迅速推出。
《QQ自由幻想》取得了不錯的運(yùn)營成績，將流失的幻想用戶挽留了回來，到2008年，《QQ自由幻想》重回10萬在線，并創(chuàng)造收入新高。4月3日，《QQ自由幻想》正式上市公測，以期重續(xù)《QQ幻想》的昔日輝煌。
