1.故障處理原則
-
-
1.1?恢復(fù)業(yè)務(wù)優(yōu)先
恢復(fù)業(yè)務(wù)優(yōu)先是指，不管在任何情況下，也不管任何級別的故障，都要先做到恢復(fù)業(yè)務(wù)，這個和故障定位不同，也有很多人會產(chǎn)生歧義，覺得如果不找到問題的根源，如何能恢復(fù)業(yè)務(wù)，下面我舉一個例子說明二者的差別：如果 A 應(yīng)用調(diào) B 應(yīng)用時，調(diào)用失敗，這時我們要怎么做？方法一，排查問題，尋找A到B之間會經(jīng)過哪些環(huán)節(jié)，找到其中的出問題的環(huán)節(jié)，比如HA連接異常，進(jìn)行重啟或者擴容恢復(fù)。方法二，從A應(yīng)用的服務(wù)器去ping B應(yīng)用的網(wǎng)絡(luò)，如果端口，網(wǎng)絡(luò)聯(lián)通，那么直接綁定B服務(wù)器的hosts。一般而言，第二種方法時間會短，如果A和B之間是跨機房訪問，那么方法一排查時間會更長，雖然破壞了A到B之間的架構(gòu)平衡，但是能馬上見效，這就是我們所說的以恢復(fù)業(yè)務(wù)優(yōu)先。1.2?及時升級
這個比較好理解，任何故障在發(fā)生時，對故障的影響任何人只能做一個簡單的預(yù)測，所以要及時升級到你的領(lǐng)導(dǎo)那里，讓他掌握第一手的信息，協(xié)調(diào)資源，如果有如下情況，那么必須馬上上升：- 有明確業(yè)務(wù)影響，例如PV，UV，購物車，訂單或者支付等業(yè)務(wù)指標(biāo)波動。
- 非常重要的業(yè)務(wù)的嚴(yán)重以上的告警故障，比如北斗核心業(yè)務(wù)，核心的組件等。
- 處理時效明顯超長（時效參考故障處理時效定義）。
- 有高級別領(lǐng)導(dǎo)，監(jiān)控中心或者客服已經(jīng)關(guān)注到這個故障。
- 很明確超出了自己的能力范圍。
注意：任何運維故障，運維的領(lǐng)導(dǎo)必須是第一個知道的人，如果他從別的人或者部門中知道這個故障，那么就很被動，而且是故障處理人失職表現(xiàn)。
2.故障處理方法論
故障處理一般會分為三個階段，故障前，故障中和故障后，故障前是指故障的定位分析，故障中是指故障處理過程，故障后是指故障總結(jié)，故障總結(jié)很重要，這個會單獨放到一章，故障定位很雜，以后會單獨去寫，這里主要講一下故障中的一些運維常用的方法。
2.1故障服務(wù)來看運維處理故障方法
如果從故障服務(wù)來看，運維恢復(fù)業(yè)務(wù)最重要的三個方法是：重啟，隔離和降級。重啟：重啟包括服務(wù)重啟和服務(wù)器重啟（os重啟）兩種，在發(fā)生故障中，任何中涉及到的環(huán)節(jié)，都可以重啟來完成，重啟的一般順序是，故障對象>故障對象上游>故障對象下游，一般離故障對象越遠(yuǎn)，重啟順序越靠后。以今天的 RabbitMQ 故障為例：當(dāng)已經(jīng)知道 RabbitMQ 發(fā)送消息失敗的時候，那么就要對它進(jìn)行重啟，如果還沒生效，那么則對他上游（消息生產(chǎn)者）進(jìn)行重啟，還不行就對下游，消息消費方進(jìn)行重啟。這里需要注意的是，千萬千萬不要想著去定位，比如發(fā)現(xiàn)重啟的對象指標(biāo)都正常，則不進(jìn)行重啟，時刻謹(jǐn)記，是在恢復(fù)業(yè)務(wù)，不是在定位故障。隔離：隔離是指對故障的對象從集群中抽離的過程，目的是讓故障對象不在提供服務(wù)，隔離的方法包括以下兩種，按照常用頻率排序：- 調(diào)整上游權(quán)重為零，如果架構(gòu)上有自檢測機制，那么也可以直接停止故障對象的服務(wù)，讓上游健康探測時效。
-
通過綁定hosts或者配置路由的方式，繞開故障對象。比如智能路由管理域關(guān)閉某一條線路。
這里需要注意的是，防止雪崩效應(yīng)。
降級：降級是指為了防止產(chǎn)生更大的故障所采取的一種預(yù)案，一般而言，降級一定不是當(dāng)下生產(chǎn)的給用戶的最優(yōu)狀態(tài)，即使沒有技術(shù)影響，也會或多或少帶來一些業(yè)務(wù)的影響，比如唯品花降級等，雖然用戶可以通過其他渠道進(jìn)行支付，但會帶來不好的用戶體驗和一些用戶影響。降級不僅僅是運維的事情，要聯(lián)合業(yè)務(wù)研發(fā)或者說推動業(yè)務(wù)研發(fā)一起去實施，孫子兵法有云：為將者，未慮勝，先慮敗，因此做任何一個項目時，首要考慮的不是這個項目能取得多少業(yè)績，而是要考慮的是，如果出現(xiàn)異常怎么辦？以 CDN 管理為例：
我們要求開發(fā)提供的預(yù)案有：
-
任何時候，核心域，都可以更換到備用域名，并且是分鐘級生效。
-
核心域必須有重試機制，當(dāng)訪問一個域名失敗時，APP能夠直接回源到源站。
-
前端業(yè)務(wù)重試提供開關(guān)功能，可以一鍵關(guān)閉重試機制（主要擔(dān)心源站會被重試打垮）
項目如此，核心應(yīng)用和組件也要如此，作為應(yīng)用負(fù)責(zé)人，必須要考慮的是，如果這個對象發(fā)生重大故障時，是否有預(yù)案可以使用，并且要把這些預(yù)案觸發(fā)條件，執(zhí)行人等都要明確下來。上述操作方法，尤其是重啟和隔離有一個重要的前提，那就是，對象必須是無狀態(tài)的，如果需要開發(fā)重試，那么要求必須是冪等的。對象無狀態(tài)除非是非常特殊的業(yè)務(wù)，可以臨時存在外，其余是不可以的，所以生產(chǎn)上對象應(yīng)該只有三種狀態(tài)：-
-
-
2.2 從故障影響方去看運維故障處理方法
一個故障發(fā)生后，影響方會分為兩類：外部用戶和內(nèi)部用戶2.2.1.外部用戶
外部用戶的處理會比較麻煩，處理的思路是，如何把外部用戶轉(zhuǎn)變成內(nèi)部用戶，比如，一個供應(yīng)商打不開公司的網(wǎng)站，這時要做的是有兩個方面：-
自己在本地模擬是否可以重現(xiàn)，如果可以重現(xiàn)，那么就不是用戶到IDC之間公網(wǎng)問題，是內(nèi)部系統(tǒng)問題，那么變成內(nèi)部用戶處理。
-
如果自己在本地模擬不能重現(xiàn)，那么多找?guī)讉€內(nèi)部用戶模擬，防止自己環(huán)境問題，同時，讓用戶進(jìn)行hosts綁定到其他入口，排除DNS，一些外網(wǎng)鏈路問題，如果這時用戶在綁定hosts后，訪問正常，那么恢復(fù)業(yè)務(wù)，同時可以確認(rèn)大概率是外部問題。
如果上述兩個方面都不行，那么就比較麻煩了，這時要收集一些必要的外部用戶信息才能進(jìn)行處理，比如出口IP，所用客戶端版本等等，這里建議收集信息有個模版，一次性完成，因為外部用戶處理時效往往會花在溝通成本上。2.2.2 內(nèi)部用戶
內(nèi)部用戶包括內(nèi)部應(yīng)用自身調(diào)用問題和內(nèi)部使用人員發(fā)現(xiàn)問題，這時的操作方法參考2.1來處理。2.3?故障處理過程中的組織架構(gòu)
故障處理一般需要有三撥人同時行動
- 故障處理者，他們的職責(zé)就是盡快恢復(fù)業(yè)務(wù)。
- 故障定位者，他們的職責(zé)是當(dāng)故障處理者方法失效或者需要查找問題根因時，解決故障。
- 信息傳遞者，他們的職責(zé)是對故障處理，故障定位傳遞有效信息，同時對外部傳遞故障進(jìn)展信息。
往往運維這三類人不會同時存在，比如在凌晨值班時，只需要故障處理者處理即可，恢復(fù)業(yè)務(wù)后，第二天由故障定位者去找根因及優(yōu)化措施。
當(dāng)然，三撥人可以復(fù)用。
3.故障總結(jié)
故障總結(jié)是個大活，每一次故障發(fā)生，都要盡量從根源去解決，同時避免發(fā)生重復(fù)故障和類似故障，PDCA，一次次改進(jìn)。由于故障總結(jié)會涉及到故障的定責(zé)，所以這里需要寫一些注意事項，尤其是對待故障中蠻不講理的人。降級，從某種角度來說，是運維的最后保命手段，必須要注意。
