騰訊 自研游戲運(yùn)維中心總監(jiān)
騰訊游戲服務(wù)“云梯”的服務(wù)體系設(shè)計(jì)和建設(shè)第一負(fù)責(zé)人，專注海量運(yùn)維、高可用以及自動(dòng)化運(yùn)維等相關(guān)技術(shù)，致力于提升業(yè)務(wù)運(yùn)維的自動(dòng)化，建設(shè)運(yùn)維崗位價(jià)值體系。
通過運(yùn)維服務(wù)整體提升團(tuán)隊(duì)核心價(jià)值和技術(shù)能力，擁有十三年的運(yùn)維技術(shù)實(shí)踐和團(tuán)隊(duì)管理經(jīng)驗(yàn)，跟隨騰訊大平臺運(yùn)維成長，深知運(yùn)維之痛，同時(shí)更了解如何從日常運(yùn)維中，挖掘業(yè)務(wù)運(yùn)維核心價(jià)值。
前言
筆者在騰訊游戲運(yùn)維里面除了做好業(yè)務(wù)運(yùn)維之外，還承擔(dān)一個(gè)云梯的建設(shè)。這個(gè)云梯的團(tuán)隊(duì)核心價(jià)值就在于提升游戲運(yùn)維崗位的價(jià)值，助力游戲業(yè)務(wù)做得更好，并專注于海量運(yùn)維，高可用以及自動(dòng)化運(yùn)維等相關(guān)技術(shù)，建設(shè)運(yùn)維崗位的成長體系，最終通過運(yùn)維服務(wù)輸出，不斷提升運(yùn)維團(tuán)隊(duì)的崗位價(jià)值和核心競爭力。
1、運(yùn)維服務(wù)再定義
講到運(yùn)維服務(wù)，我們首先要定義下什么叫運(yùn)維服務(wù)。從百度里面查到運(yùn)維服務(wù)，一共分為六大項(xiàng)服務(wù)內(nèi)容，實(shí)際上這個(gè)應(yīng)該叫IT服務(wù)，從一定程度上來說，這個(gè)有點(diǎn)太過于復(fù)雜了，而且很難理解。
我這邊濃縮一下，變成一個(gè)運(yùn)維基礎(chǔ)服務(wù)：發(fā)布、變更、故障處理，+SLA（安全、成本）。為什么 +SLA，因?yàn)檫\(yùn)維一定要關(guān)注安全和成本這兩個(gè)要點(diǎn)。
今天給大家介紹我們的定義：“被你的產(chǎn)品或你服務(wù)的團(tuán)隊(duì)關(guān)注并且可以產(chǎn)生增值價(jià)值點(diǎn)，而且是可計(jì)價(jià)的才叫運(yùn)維服務(wù)+”。
相當(dāng)于它必須具備三個(gè)關(guān)鍵點(diǎn)：
第一個(gè)是用戶關(guān)注；
第二個(gè)是能夠增值效益；
第三個(gè)是可計(jì)價(jià)。
可能有人有疑問說為什么是三點(diǎn)，我解釋一下：
運(yùn)維一直都是在后端默默無聞，典型背鍋俠，既然你要做服務(wù)，從幕后走到臺前，那必須做你的用戶—老板、產(chǎn)品負(fù)責(zé)團(tuán)隊(duì)、玩家（用戶）關(guān)注的事情。
做好現(xiàn)在用戶關(guān)注的事情并不足夠，只有關(guān)注未來，就如股票一樣都是在買未來的增長。
先做好本分的事情，然后再不斷思考和建設(shè)可以產(chǎn)生增值效益的事情，因?yàn)樵鲋挡朋w現(xiàn)你和團(tuán)隊(duì)的核心競爭力。
做任何事情都是有價(jià)值的，如果沒有價(jià)值對比，就沒有辦法衡量是否做得好。
可計(jì)價(jià)也就是有有價(jià)值的事情做，才能夠使得團(tuán)隊(duì)更有動(dòng)力。
2、騰訊游戲運(yùn)維服務(wù)體系
講完這個(gè)大家可能會覺得說好像有點(diǎn)道理，但也挺虛的，那我們來看看實(shí)戰(zhàn)。
正式開始實(shí)戰(zhàn)介紹之前我們來介紹騰訊游戲運(yùn)維服務(wù)的整體構(gòu)成。一共包括六大塊服務(wù)體系：用戶體驗(yàn)、運(yùn)營活動(dòng)、運(yùn)維成本控制、運(yùn)營咨詢、版本服務(wù)和整個(gè)業(yè)務(wù)安全的保障服務(wù)構(gòu)成。
六大服務(wù)模塊下面還分了19個(gè)子服務(wù)，今天我不會將19個(gè)子服務(wù)一一向大家介紹。我一共介紹三個(gè)案例，也是不斷進(jìn)階演進(jìn)的服務(wù)案例。
3、服務(wù)實(shí)戰(zhàn)檢驗(yàn)—游戲行業(yè)開合服
首先看一個(gè)在游戲行業(yè)大家最熟悉的開服和合服。開合服是干什么的？
其實(shí)開合服最先是在頁游時(shí)代出來的，是里面最簡單最直接的手段。最先在我們行業(yè)叫滾服，是一個(gè)產(chǎn)品運(yùn)營接的，可以減少玩家之間平衡度的問題。同時(shí)可以減少一些內(nèi)容創(chuàng)作的工作量，同時(shí)也可以通過導(dǎo)流的方式拉到更多的收入。
3.1 游戲行業(yè)開合服的特點(diǎn)
對于運(yùn)維層面來看，一共有四個(gè)階段，分別有各自的特點(diǎn)：
上線初期
第一個(gè)是上線初期，業(yè)務(wù)剛上線，開服，這個(gè)時(shí)候?qū)Я克俣确浅Ｃ?，需要人力盯著?dǎo)量情況，新區(qū)的開放也一般是人工判斷，手動(dòng)執(zhí)行。
導(dǎo)量穩(wěn)定期
第二個(gè)是導(dǎo)量穩(wěn)定期，這個(gè)業(yè)務(wù)進(jìn)入平穩(wěn)期了，每周會有基本固定的放量，可以不需要人工操作，通過業(yè)務(wù)設(shè)定注冊量，到量后自動(dòng)開新區(qū)，有的業(yè)務(wù)則會固定每周的開放時(shí)間。
精細(xì)運(yùn)營期
第三個(gè)是精細(xì)運(yùn)營期，通過之前積累的數(shù)據(jù)，產(chǎn)品運(yùn)營跟蹤開服后的效果，調(diào)整開服時(shí)間，開服策略，運(yùn)營策略等。達(dá)到既能讓老區(qū)玩家對游戲的某些玩法還能夠順利進(jìn)行，同時(shí)后來新進(jìn)的玩家追趕起來也不至過于困難。
合服期
最后是合服期,單服人數(shù)低于某個(gè)量后，玩家流失速度會非?？?，游戲中的一些核心團(tuán)隊(duì) PVP 玩法也會受到影響，業(yè)務(wù)一般通過合服降低流失。
3.2 開合服要完成的重要事項(xiàng)
這背后運(yùn)維要做什么，最直接簡單的就是做開服的動(dòng)作。騰訊游戲運(yùn)維做了什么事情？
我們首先做到了手動(dòng)開服，在智慧雪球項(xiàng)目組通過人工點(diǎn)擊開服按鈕，調(diào)后臺任務(wù)自動(dòng)完成大區(qū)對外開放操作，然后是自動(dòng)開服，最后做到定時(shí)開服。
自動(dòng)開服會有一個(gè)問題，達(dá)到這個(gè)閾值的時(shí)候你有可能是半夜三更，也可能時(shí)間并不是項(xiàng)目組想要的市場導(dǎo)量的時(shí)間點(diǎn)，你把這個(gè)服對外了，但這個(gè)量上不來，自然這個(gè)服就變成鬼服了。
三個(gè)節(jié)點(diǎn)里面，目前整個(gè)騰訊游戲運(yùn)維做到的自動(dòng)化程度還有技術(shù)實(shí)現(xiàn)程度，在2016年最新的統(tǒng)計(jì)數(shù)據(jù)中，整個(gè)效率做到了5分鐘之內(nèi)我們能夠?qū)⒁粋€(gè)服對外。
3.3 開服向更高進(jìn)階
如何服務(wù)進(jìn)階？做技術(shù)的天天看曲線，這條曲線有沒有什么特點(diǎn)？
這個(gè)曲線上，在線 PCU 和注冊人數(shù)兩個(gè)曲線基本上很吻合，這個(gè)就是一個(gè)開服期間最容易出現(xiàn)的情況，就是在線跟注冊人數(shù)同樣速度在增長的，因?yàn)檫@個(gè)游戲很火爆。
大家做運(yùn)維都很清楚一點(diǎn)，你的在線的承載和你的注冊數(shù)肯定不是一一對應(yīng)的，比如注冊可以注冊到5萬人，但是在線撐死只有1萬人。這會帶來什么問題？
最大的問題是這個(gè)新服很容易在過兩天之后就變成鬼服了，比如前期你的注冊達(dá)到1萬的時(shí)候你的 PCU 也達(dá)到了1萬，按照我們之前定的三個(gè)場景，必然會觸動(dòng)你的自動(dòng)開服或者定時(shí)開服，因?yàn)橥婕疫M(jìn)不來，你不開這個(gè)量就流失了，市場就沒了。
這個(gè)好像挺無解的，我們運(yùn)維干了一件事情，我們從原來的開一個(gè)服，我們把它變成了一個(gè)池子，這個(gè)池子就是當(dāng)注冊和 PCU 達(dá)到一定量級的時(shí)候，我們將這個(gè)服關(guān)閉推薦，而自動(dòng)推薦其他服。
推薦服是什么意思：大家玩游戲可能都會注意到一點(diǎn)，新手登進(jìn)之后，會有個(gè)默認(rèn)推薦服在那里，你自然會點(diǎn)進(jìn)默認(rèn)推薦服。
所以下次當(dāng)你看到上面這條曲線是上面這個(gè)情況的時(shí)候，你可以把幾個(gè)服做成一個(gè)池子去推薦，避免瞬間撐滿，而是均衡灌滿。右邊這個(gè)流程是我們的整個(gè)自動(dòng)推薦服的流程圖，5分鐘自動(dòng)輪循一次，達(dá)到這樣一個(gè)效果。
這時(shí)候你的項(xiàng)目組會非常買你做的事情，因?yàn)槟愀傻幕詈孟癫皇呛軓?fù)雜，但是解決了他們一個(gè)很大的痛點(diǎn)，他不需要一開服就合服。
3.4 合服向更高進(jìn)階
講完開服的服務(wù)進(jìn)階我們再講合服的，合服這個(gè)就相當(dāng)于前面的一些鬼服把它合在一起。
最正常的一個(gè)工作流程是這樣的。項(xiàng)目組運(yùn)營團(tuán)隊(duì)會提交需求，開發(fā)團(tuán)隊(duì)會提交數(shù)據(jù)合并工具，因?yàn)楹戏畲蟮墓ぷ髁烤褪前褦?shù)據(jù)庫里的數(shù)據(jù)做合并，你有很多社區(qū)、社團(tuán)或者玩家的角色名稱，你要把它合并在一起，開發(fā)必須提供數(shù)據(jù)合并工具。
運(yùn)營團(tuán)隊(duì)會提供一個(gè)N合M的過程，有可能是2合1，有可能是3合1。大部分的運(yùn)維同學(xué)會收到這樣一個(gè)表格，xxx服務(wù)，活躍多少，合并到什么樣子。這是普通的運(yùn)營團(tuán)隊(duì)會給我們的數(shù)據(jù)報(bào)告。
做得好一點(diǎn)，他會給我們一個(gè)這樣的報(bào)告，因?yàn)槭裁丛颍瑥膸讉€(gè)維度上看，分別選取，像日活躍、開服小于多少天的區(qū)服列表等，拿到之后，運(yùn)維團(tuán)隊(duì)會挑選合適的服務(wù)器，這個(gè)是我們該做的。
接下來運(yùn)維執(zhí)行工具，做數(shù)據(jù)合并，然后正式對外開服。
整個(gè)運(yùn)維的工作里面，最大的工作量就在數(shù)據(jù)合并的過程，有很多會出錯(cuò)，特別是做 DBA 的兄弟，肯定天天吐槽合服的事情。數(shù)據(jù)合并特別是在騰訊這樣數(shù)據(jù)量特別巨大的情況下，我們目前能夠做到的2016年的場景是2到3小時(shí)能夠完成一個(gè)服的合并動(dòng)作。
當(dāng)然包括完成所有數(shù)據(jù)的清洗包括重新導(dǎo)入的，包括處理數(shù)據(jù)異常的過程。周而復(fù)始這樣去操作。這樣一個(gè)服務(wù)其實(shí)只能說你做好了本份的事情，整個(gè)增值的效益完全沒有體現(xiàn)在這里。
既然做服務(wù)，看一下在騰訊游戲運(yùn)維里面是怎么去做的，這個(gè)是目前我們真正的合服的流程圖。
首先可以看到，我會根據(jù)項(xiàng)目組給我們的條件，會幫他們做一些篩選大區(qū)，比如說 PCU 小于多少，DNU 小于多少，活躍付費(fèi)率小于多少的大區(qū)，篩選這些大區(qū)屬于需要去合并的大區(qū)。
篩選完之后根據(jù)一些組合，我們不希望項(xiàng)目組只是通過很簡單的 excel 表格去做，我們會去幫他做開服天數(shù)相近等來進(jìn)行合服的組合，給項(xiàng)目組推薦哪幾個(gè)合服組合是合適的。
最后會給到一個(gè)合服后的數(shù)據(jù)分析對比。這些數(shù)據(jù)我們做更好一點(diǎn)，我們會把這個(gè)數(shù)據(jù)放到合服預(yù)估里面去。
為什么叫合服預(yù)估？因?yàn)楹戏且粋€(gè)周而復(fù)始的過程，你做得更好一步，你需要把這個(gè)定期推給項(xiàng)目組。
這個(gè)是我們內(nèi)部的截圖，會根據(jù)他的規(guī)則選擇條件，當(dāng)他有數(shù)據(jù)異常的時(shí)候會提醒他出來，會標(biāo)示出哪些是符合規(guī)則、哪些不符合規(guī)則的。這些是項(xiàng)目組現(xiàn)在關(guān)注的，因?yàn)槟銕退鉀Q工作效率的問題，但那是不是就足夠了？做完這個(gè)還不夠，我們需要關(guān)注整個(gè)項(xiàng)目組未來能夠做得更好的一點(diǎn)是什么。
做游戲有一個(gè)非常大的關(guān)鍵，如果你理解這個(gè)游戲業(yè)務(wù)的話，你會發(fā)現(xiàn)，如果想讓這個(gè)服合并之后會效果更好的話，其實(shí)你需要去考慮，合服里面的用戶，不只是說你只把 DAU、客戶、付費(fèi)能力相加一起就可以了，因?yàn)槟氵€需要讓玩家保持經(jīng)濟(jì)平衡或者社區(qū)平衡，引入這些因子之后，你對運(yùn)維的技術(shù)挑戰(zhàn)提升就會要求高很多。
你需要在組合里面考慮這些因子，我們怎么做，在這里面我們引入了大數(shù)據(jù)的算法，目前用聚類的算法，幫項(xiàng)目組聚類出哪幾個(gè)服的戰(zhàn)力平衡、經(jīng)濟(jì)水平平衡，通過這個(gè)推給項(xiàng)目組，這個(gè)是我們整個(gè)合服的進(jìn)階。
接下來整個(gè)合服之后的效果對比，我們會跟蹤他的 PCU、DAU 的數(shù)據(jù)對比變化，給項(xiàng)目組更好的決策數(shù)據(jù)。包括 DAU 的分布、ARPU 值的收益分布等。
這是我們上線半年來我們做到的收益，我們已經(jīng)累計(jì)給項(xiàng)目組節(jié)約了260個(gè)小時(shí)，我們的推薦區(qū)服已經(jīng)被使用了7368次，詳細(xì)效果如下：
3.5 服務(wù)建設(shè)過程中的幾個(gè)問題
在整個(gè)服務(wù)建設(shè)過程，我們都會很怕產(chǎn)品團(tuán)隊(duì)提很多需求，因?yàn)樽鯥T的實(shí)際上是不斷在挖產(chǎn)品需求，你一旦開始挖產(chǎn)品需求了，就會帶來一個(gè)問題，產(chǎn)品團(tuán)隊(duì)他的需求會不斷的變化，他也會有自己很好的想法給到你。
我們從服務(wù)開發(fā)者的角度或者服務(wù)建設(shè)者的角度上講，他會從集成平臺這里，開發(fā)者中心，開發(fā)者框架，給我們快捷的支撐。
同時(shí)剛才大家也看到前面的服務(wù)建設(shè)里面，我們會用到很多的原子和功能，在下面這個(gè)作業(yè)平臺里，有豐富的原子層，能夠讓我們組合起來靈活快速。
4、向外部產(chǎn)品的用戶延伸—版本服務(wù)
講完這個(gè)服務(wù)以后大家還是會有疑問，剛才講到的都是服務(wù)于內(nèi)部用戶的，既然你想從幕后到臺前，只是讓你的產(chǎn)品團(tuán)隊(duì)、你的老板都知道這樣還是不夠的，最好的方法是你能夠服務(wù)于你產(chǎn)品使用的用戶，那才是最能夠從幕后走到臺前。延伸到產(chǎn)品的用戶，怎么做？這里不講太多廢話和道理，直接來看案例。
從內(nèi)部到外部，我們通過一個(gè)版本服務(wù)案例講一下，這個(gè)案例大家可能會更容易理解一點(diǎn)。
4.1 版本服務(wù)在日常發(fā)布中的應(yīng)用
因?yàn)樽霭姹?，只要做運(yùn)維的都接觸過，不像前面的開合服，只有做游戲的才會有這種業(yè)務(wù)場景，離開了游戲其實(shí)很難有這種業(yè)務(wù)場景。在做版本服務(wù)，做發(fā)布這個(gè)事情上，我們可以做什么？
還是看一條曲線，這個(gè)曲線有個(gè)非常簡單的特點(diǎn)，紅色的線是發(fā)布日的曲線，黑色的線是平時(shí)的業(yè)務(wù)曲線，這兩個(gè)點(diǎn)是我們運(yùn)維最關(guān)心的點(diǎn)，就是發(fā)布時(shí)長。從2012年的3到4個(gè)小時(shí)到2016年的0.88個(gè)小時(shí)我們可以完成一個(gè)版本的發(fā)布對外。
實(shí)際上來說這是不夠的，我不是說發(fā)布時(shí)長我們優(yōu)化得還不夠，而是我們做運(yùn)維來說，我們關(guān)注得還不夠。因?yàn)殛P(guān)注的只是產(chǎn)品中你目前知道的事情，本份的事情。哪些是產(chǎn)品關(guān)心的事情？產(chǎn)品關(guān)注收入、DAU，一個(gè)在線恢復(fù)時(shí)長才是產(chǎn)品最關(guān)注的事情，在線恢復(fù)得快，DAU和日常的DAU是一樣的。
4.2 版本服務(wù)在線恢復(fù)中的應(yīng)用
在線恢復(fù)快，玩家的在線時(shí)長也會同樣加長，比如說你等到晚上8、9點(diǎn)鐘玩家才能進(jìn)到游戲，你的在線恢復(fù)到正常水平到晚上8點(diǎn)鐘，還是說你上午一發(fā)布完，中午玩家就進(jìn)來了，其實(shí)這是有本質(zhì)上的區(qū)別的。
看一下騰訊游戲運(yùn)維是怎么做在線恢復(fù)時(shí)長提升的，因?yàn)槟阋粋€(gè)版本發(fā)布了，玩家進(jìn)不進(jìn)來是用戶決定，純粹由用戶的行為決定。
分析一下，玩家什么時(shí)間喜歡上來玩游戲，更新版本包時(shí)長，這個(gè)還跟成本關(guān)聯(lián)，同時(shí)自動(dòng)化程度也密切相關(guān)。
首先，我們再深入分析一下這個(gè)怎么去做，會有個(gè)版本發(fā)布時(shí)間，選在凌晨幾點(diǎn)鐘發(fā)還是在高峰期發(fā)，這個(gè)也看你運(yùn)維的技術(shù)能力，你敢不敢在高峰期發(fā)和在高峰期來臨之前發(fā)，這是不一樣的。還有更新包投放時(shí)間，這個(gè)包你是提前發(fā)出去還是在版本發(fā)布同時(shí)發(fā)出去。
第二步是投放自動(dòng)化，還有更新的成本。用戶更新包所需要的時(shí)長，分發(fā)量和用戶增量的問題。在四大因素里面，我們游戲運(yùn)維是怎么去影響他們的。大家可以看到，在在線恢復(fù)時(shí)長優(yōu)化里、在包投放時(shí)間還有投放自動(dòng)化、分發(fā)量做一些優(yōu)化，會有幾大方面，分發(fā)量和成本會由閹割的完整包和更新包分解拆包。
一個(gè)游戲版本如果對外的話，會分兩類玩家，一類是新玩家，一類是原來的玩家做更新的。閹割版的你在發(fā)布之前幾天就可以對外發(fā)布了。
另一個(gè)問題，更新包的拆包解包，那么更新包是什么？
做過游戲行業(yè)可能會了解到一點(diǎn)，它除了那些程序腳本之外，其實(shí)有很多資源，很多時(shí)候美工團(tuán)隊(duì)或者音頻團(tuán)隊(duì)已經(jīng)做出來了，如果運(yùn)維團(tuán)隊(duì)愿意把這個(gè)事情做一些拆分的話，你可以提前把這個(gè)更新包拆分出去，讓玩家預(yù)埋到已經(jīng)在他電腦里的版本里去，這樣直接減少分發(fā)量和成本的問題。
在時(shí)間點(diǎn)上，預(yù)下載的自動(dòng)推送和錯(cuò)峰時(shí)間點(diǎn)的預(yù)判，這兩點(diǎn)會直接決定你的成本還有你預(yù)下載的效果。預(yù)下載就是說你的玩家在玩游戲的時(shí)候，他可以預(yù)先把你的資源下載到本地來，這是一個(gè)很成熟很簡單的技術(shù)，你是自動(dòng)推送的還是人工盯著的，這個(gè)差別還是蠻大的。
另外一塊是根據(jù)玩家的平均在線時(shí)長去計(jì)算預(yù)下載投放的時(shí)間。
當(dāng)你的玩家的在線時(shí)長是2小時(shí)、3小時(shí)或者6小時(shí)，實(shí)際上會決定你的投放時(shí)長，因?yàn)槟愕馁Y源包的下載是需要時(shí)間的，你不可能以全速的速度下載，因?yàn)橥婕彝嬗螒?，你全速下載會占他的帶寬，你可以根據(jù)你平均下載的速度，根據(jù)你的游戲體驗(yàn)去決定。
這時(shí)候你會算出100M的更新包，如果玩家每天平均在線2小時(shí)，你要提前多少時(shí)間放，這是很精細(xì)的計(jì)算的過程，時(shí)間點(diǎn)的掌控對運(yùn)維來說，不再是以前你放一個(gè)包過來就往上丟。
還有用戶增量的問題，用戶的增長速度，這個(gè)游戲版本非常好玩，用戶增量會非常大，你怎么控制這個(gè)增量，通過預(yù)下載多渠道推送，通過大區(qū)灰度、用戶灰度，P2P 增量。
整個(gè)體現(xiàn)了在版本服務(wù)里面，在運(yùn)維團(tuán)隊(duì)里面怎么去做精細(xì)化的運(yùn)營，不只是說你把自動(dòng)化做好就足夠了。
4.3 我們的收益
看一下我們做完前面的事情之后有什么收益，在用戶增長和包量增長上，在2013年和2016年增長2倍的情況下我們的在線恢復(fù)時(shí)長壓縮到了原來的90%，同時(shí)這個(gè)帶寬成本下降了50%。
這個(gè)事情做的不僅漂亮，而且老板覺得你給整個(gè)業(yè)務(wù)團(tuán)隊(duì)省錢了，是非常合適的事情，拿這個(gè)業(yè)績匯報(bào)給老板看，老板會很嗨。
怎么做到，可以看一下，這里傳統(tǒng)的就不講了，業(yè)務(wù)ABC會把版本需求推送給我們，正常來說(黑色字體)我們會做一些部署的動(dòng)作，成本監(jiān)測，完整包管理等。
我們會做用戶數(shù)據(jù)、推送時(shí)間、自動(dòng)推送、灰度控制、拆包的自動(dòng)建設(shè)的能力，不一一介紹了，依托藍(lán)鯨會做自動(dòng)化調(diào)度的能力，會達(dá)成整個(gè)游戲版本服務(wù)技術(shù)架構(gòu)的特點(diǎn)，更多是一些功能模塊。整個(gè)服務(wù)是由這些框框組成的。
4.4 我們不曾止步
看到上面的版本服務(wù)和開合服的案例，大家可能想蠻不錯(cuò)了，因?yàn)樗腥齻€(gè)特點(diǎn)都滿足了。
用戶關(guān)注，包括剛才說的版本服務(wù)，玩家可以很快的進(jìn)到游戲里面來玩耍，一進(jìn)來更新時(shí)間又短，花在版本更新的帶寬也少。
老板也關(guān)注，玩家也關(guān)注，增值效益也有了，助力提升 DAU、在線時(shí)長，收益還不錯(cuò)，在兩年多的時(shí)間里我們壓縮到了只有10%在線恢復(fù)時(shí)長。
可計(jì)價(jià)當(dāng)然是 ok 的，每一個(gè)用戶進(jìn)來之后產(chǎn)生收益是 ok 的，因?yàn)槟阌绊懥嗽诰€時(shí)長，每個(gè)用戶的在線時(shí)長在商業(yè)里的數(shù)據(jù)是可以依托的。
我們覺得還不夠，我們碰到一個(gè)核心的問題，剛才看到特別是前面那一頁版本服務(wù)建設(shè)的框架里面，會有一個(gè)問題，這個(gè)問題有四個(gè)特點(diǎn)
特點(diǎn)一：環(huán)節(jié)緊扣
每個(gè)服務(wù)環(huán)節(jié)緊密相扣，不管是前面的像表格一樣的方式還是后面的框架圖，都會發(fā)現(xiàn)它整個(gè)環(huán)節(jié)非常緊扣，密不可分。
特點(diǎn)二：依賴業(yè)務(wù)運(yùn)維
它非常依賴業(yè)務(wù)運(yùn)維某個(gè)人或者某個(gè)團(tuán)隊(duì)的某幾個(gè)兄弟對這個(gè)業(yè)務(wù)的理解。
特點(diǎn)三：更加復(fù)雜變化的需求
因?yàn)槟阕龊昧爽F(xiàn)在這一步，你除了能做發(fā)布變更、自動(dòng)化部署之外，你還能幫助我們?nèi)ビ绊?DAU 和在線恢復(fù)時(shí)長。這樣項(xiàng)目組就嗨了，他們覺得他可以給你提更多的需求，更加復(fù)雜變化的需求，他會想能不能給我加點(diǎn)不同的用戶等級，怎么去給用戶更好的更新版本的體驗(yàn)。
特點(diǎn)四：成本控制
然后是成本控制，還是有很多人為的因素在里面。
5、實(shí)戰(zhàn)進(jìn)階引入微服務(wù)新應(yīng)用—下載服務(wù)
5.1 微服務(wù)初探
這里面我們引入了一個(gè)東西，叫微服務(wù)框架。
左邊這張圖是微服務(wù)框架很簡單的示意圖，微服務(wù)有三個(gè)特點(diǎn)。
去中心化
解耦合
可以獨(dú)立演進(jìn)。
為什么引入微服務(wù)框架？
因?yàn)檫@三個(gè)特點(diǎn)可以去解決我們前面的這四個(gè)核心的問題。同時(shí)，架構(gòu)、框架這些東西讓運(yùn)維團(tuán)隊(duì)的可以比較好理解。
當(dāng)你跟他講一些代碼級的東西，他很難真正去理解，做運(yùn)維和做后臺開發(fā)的兄弟還是有思維理解上的區(qū)別的。
這時(shí)候我們看一下在微服務(wù)引入之后，我們怎么讓服務(wù)進(jìn)階。微服務(wù)引入之后我們解決了三個(gè)問題。
一個(gè)是服務(wù)的分解，這里跟藍(lán)鯨的支撐框架不一樣的一點(diǎn)是，我們這個(gè)不是原子的，我們是單單的一個(gè)微服務(wù)，完全是一個(gè)獨(dú)立可運(yùn)作的服務(wù)內(nèi)容。
第二個(gè)是消除依賴
第三個(gè)是可以成本細(xì)分
我們可以演進(jìn)成下面這些點(diǎn)，而且可以隨意組合。比如有些項(xiàng)目組說，我不想要那么復(fù)雜高大上的功能，就要包制作和版本管理就可以了，把這個(gè)服務(wù)給到項(xiàng)目組就 ok 了。
項(xiàng)目組覺得我不需要版本管理，我只要包制作實(shí)時(shí)數(shù)據(jù)，或者更多，通過預(yù)下載渠道投放，希望能給玩家更好的體驗(yàn)，可以這樣去組合，或者需要更多的東西，包括防盜鏈跟蹤、異常用戶跟蹤。
一個(gè)是服務(wù)分解，每個(gè)都是獨(dú)立的微服務(wù)，第二，依賴關(guān)系完全沒有了，第三個(gè)每一個(gè)都可以獨(dú)立控制成本。
5.2 下載服務(wù)微服務(wù)優(yōu)化
下載服務(wù)引入微服務(wù)之后，會從左邊的只有原來的四大塊管理，包制作、版本管理、成功率跟蹤、成本限速，右邊是除了做到原來的，拓展了包制作的功能之外，包括智能限速，用戶等級、單用戶、地域這些。
我們還做到一點(diǎn)，可以在異常用戶里做到單用戶級包括用戶分級的能力，整個(gè)服務(wù)可以不斷往前去拓展。
像用戶分級里面有專屬的禮包、專屬的 VIP、用戶關(guān)懷，對單獨(dú)的用戶做白名單限制，實(shí)時(shí)數(shù)據(jù)里可以根據(jù)用戶的等級、地域去做，整個(gè)服務(wù)的拓展會更加靈活更方便。
5.3 我們引入微服務(wù)后的收益
引入之后可以達(dá)到幾個(gè)效果，一個(gè)是靈活，可見收益。因?yàn)槊總€(gè)服務(wù)都是獨(dú)立可以看到效果的。
還有獨(dú)立計(jì)價(jià)，獨(dú)立演進(jìn)，還有拓展能力，上面那個(gè)圖是非常方便的，可以隨意往下或者往左右兩邊去擴(kuò)展你的服務(wù)。
做完這個(gè)之后我們的收益是怎么樣呢？
首先，玩家下載完成率我們提升20%，下載完成率是產(chǎn)品運(yùn)營團(tuán)隊(duì)關(guān)注的玩家的下載時(shí)長，這個(gè)是玩家關(guān)注的，玩家下載時(shí)長下降60%，一個(gè)玩家下載一個(gè)版本包花的時(shí)間只需原來的40%就 ok 了。
另外老板比較關(guān)心的成本，我們在整個(gè)事情中成本消耗增加是0。顯然好像還不夠，還算了一個(gè)收益，因?yàn)槲覀儾豢赡苋?dǎo)流用戶過來，不可能吸引用戶過來，但是我們可以在這個(gè)階段讓玩家不要流失，用戶成功下載完以后就能讓玩家進(jìn)入游戲，這樣就提升了游戲的轉(zhuǎn)化率。
5.4 更進(jìn)一步—禮包分發(fā)服務(wù)
如果說我們還想進(jìn)一步提升轉(zhuǎn)化率和下載成功率，我們能怎么去做，達(dá)成一個(gè)服務(wù)進(jìn)階？
服務(wù)你既然做出來了，你的項(xiàng)目組、你的團(tuán)隊(duì)，會給你更高的要求，你自己也希望更進(jìn)一步。這里會有一個(gè)影響，你要關(guān)注下載取消和不轉(zhuǎn)化的用戶。這個(gè)時(shí)候我們想到一個(gè)東西，你要讓下載取消和不轉(zhuǎn)化用戶，再增加一點(diǎn)東西吸引他，看行不行。
這時(shí)候我們想到一個(gè)游戲道具禮包，這個(gè)也不太復(fù)雜，這也是項(xiàng)目組給我們提的要求，希望說這個(gè)時(shí)候你能不能再增加一點(diǎn)東西，我們多投一點(diǎn)市場成本是 ok 的。
5.5 禮包問題的三座大山
禮包不是一個(gè)小事，這是一個(gè)市場資源進(jìn)去要投放的東西，我們解決哪些問題，你必須有精準(zhǔn)定位，給誰發(fā)，什么時(shí)候發(fā)，發(fā)什么東西。
接下來大家可能會想，這不是營銷該干的事情嗎，營銷團(tuán)隊(duì)他可能來說可以幫我們制作禮包，但是在運(yùn)維環(huán)節(jié)給誰，什么時(shí)候投和投什么，投什么可能他們比我們的專業(yè)度更好一點(diǎn)。但給誰，什么時(shí)候投放完全是由我們運(yùn)維團(tuán)隊(duì)決定的。
怎么去做呢，首先做這個(gè)事情你需要去關(guān)注理解你的業(yè)務(wù)，簡單一點(diǎn)，你怎樣給玩家投，會有兩個(gè)特性，一個(gè)是老玩家，一個(gè)是新玩家。
WHO？
解決 WHO 這個(gè)問題，我們會有用戶分級，可以看到玩家的等級與付費(fèi)的關(guān)系，玩家的等級越高，付費(fèi)率就越高。因?yàn)槲覀冃枰獩Q定給誰發(fā)的問題，是給高等級的玩家發(fā)還是給低等級的玩家發(fā)。
再看左邊那張圖，玩家等級成長分布圖，中間有掉下來一個(gè)點(diǎn)，在130級，這是某款游戲的數(shù)據(jù)，130級的玩家很難升級，這時(shí)候如果來了一個(gè)老玩家，是個(gè)老用戶，他剛好在120級左右的時(shí)候，那你給他發(fā)是最合理的。
這個(gè)很簡單，其實(shí)就是數(shù)據(jù)分析的過程，所有做運(yùn)維做技術(shù)的其實(shí)就是做數(shù)據(jù)分析。
WHEN？
要解決什么時(shí)候發(fā)的問題，因?yàn)橥婕蚁螺d過程是個(gè)動(dòng)態(tài)的過程，我們引入“智能+”，就是運(yùn)維大數(shù)據(jù)的建設(shè)。
首先通過取消玩家下載完成比例的數(shù)據(jù)分析圖，看到一個(gè)玩家基本上會在10%以內(nèi)或者15%之間取消掉下載。這個(gè)區(qū)間其實(shí)還很大，我們提煉幾個(gè)關(guān)鍵的因素，玩家目前下載過程中的當(dāng)前完成率和當(dāng)前耗時(shí)，都是當(dāng)前而不是歷史。
左邊這張圖是歷史數(shù)據(jù)分析出來的取消的規(guī)則，右邊這張圖是實(shí)時(shí)數(shù)據(jù)取消的規(guī)則，還有當(dāng)前下載的速度。
通過這個(gè)會形成一個(gè)拉格朗日函數(shù)，再用一個(gè) SVN 向量機(jī)的方式找到一個(gè)分類的超平面，因?yàn)槟闳齻€(gè)因子可以去定義一個(gè)分類的超平面。通過這個(gè)你可以去劃分一個(gè)玩家有可能取消的平面。
在實(shí)時(shí)下載過程中，這三個(gè)因子數(shù)據(jù)我們實(shí)時(shí)運(yùn)算出來，越靠近這個(gè)超平面的時(shí)候，越不需要給他發(fā)禮包，當(dāng)他離得更遠(yuǎn)的時(shí)候，更需要給他發(fā)禮包，因?yàn)樗锌赡芫驼嬲牧魇Я??？窟@個(gè)平面他有可能會從取消變成完成。通過實(shí)時(shí)運(yùn)算獲取玩家下載過程中的取消概率，這個(gè)是我們解決的 WHEN 的問題。
WHAT？
解決發(fā)什么的問題，剛才前面提到不同等級的玩家，需要給誰發(fā)的問題。這個(gè)實(shí)際上在大數(shù)據(jù)里面也沒有別的算法。基于隱因子模型的協(xié)同過濾推薦算法，確定正在單個(gè)下載玩家的禮包內(nèi)容。
結(jié)論舉例，在下載為 1879KB/S、當(dāng)前進(jìn)度為 5%、已下載10分鐘的玩家，在進(jìn)度 8%、15% 和 30% 會分別發(fā)送XX禮包。在運(yùn)維領(lǐng)域看起來有點(diǎn)害怕，但實(shí)際上就看你敢不敢跨界用了。
5.6 “禮包+智能”效果展示
我們整個(gè)騰訊游戲運(yùn)維也在慢慢跨向現(xiàn)在的智能化的時(shí)代。做完這個(gè)之后，有什么效益，我們在原來基礎(chǔ)上將下載完成率提升了 8%，轉(zhuǎn)化率在原來基礎(chǔ)上再加9%。還不錯(cuò)的，也讓運(yùn)維的兄弟會覺得自己不只是說我就天天做個(gè)包往外分發(fā)，看看 CDN 的成本數(shù)據(jù)。
我會關(guān)注用戶怎么從我所負(fù)責(zé)的環(huán)節(jié)流失走，我怎么能拉他回來，用一些營銷手段，也會看到我們下載的實(shí)時(shí)數(shù)據(jù)里面怎么去給項(xiàng)目組更好的技術(shù)上的優(yōu)化和解決方案。
6、“智能+”&“微”服務(wù)
目前我們整個(gè)服務(wù)的走向是“智能+”，以“智能+”的技術(shù)和解決方案去推進(jìn)我們微服務(wù)不斷往前拓展。這個(gè)微服務(wù)除了微服務(wù)框架之外，有個(gè)特點(diǎn)，就是無微不至，我們希望通過我們運(yùn)維團(tuán)隊(duì)提供給用戶無微不至的服務(wù)。
舉例一下我們無微不至怎么去拓展，比如像下載服務(wù)可以不斷往下拓展。
像安裝登錄服務(wù)也可以不斷往前拓展。包括開服服務(wù)，手動(dòng)開服和自動(dòng)開服，在上線初期和運(yùn)營期，哪些是可以做的，哪些是關(guān)注的。
包括最下面的，戰(zhàn)力的差距，你開了一個(gè)新服的時(shí)候，當(dāng)戰(zhàn)力的差距不夠的時(shí)候，我們會跟銷售說這時(shí)候你應(yīng)該給玩家推送一個(gè)禮包。
騰訊游戲運(yùn)維服務(wù)進(jìn)階，剛才提到像智能化還有貼近業(yè)務(wù)之類的，我們整個(gè)運(yùn)維團(tuán)隊(duì)需要具備六大能力項(xiàng)，需要有感知、分析、決策、執(zhí)行、呈現(xiàn)，非常關(guān)鍵的一點(diǎn)是保護(hù)。
另外還有兩個(gè)關(guān)鍵點(diǎn)，一個(gè)是整個(gè)團(tuán)隊(duì)的文化，還有一個(gè)是人才結(jié)構(gòu)的培養(yǎng)。
同時(shí)我們濃縮了六個(gè)字母，為了讓運(yùn)維更好的記憶和理解，“CEBTOS”，貼近業(yè)務(wù)、理解業(yè)務(wù)，關(guān)注用戶的體驗(yàn)，在質(zhì)量效率成本方面找一個(gè)均衡，以技術(shù)導(dǎo)向?yàn)閮?yōu)先。
上面所有案例都有核心技術(shù)在里面，這里面也會體現(xiàn)你的團(tuán)隊(duì)的技術(shù)競爭力，擁有運(yùn)營能力，同時(shí)你最終的產(chǎn)出，給用戶看到的都是服務(wù)，并且需要非常關(guān)注安全。
微信掃一掃
