什么是緩存雪崩？服務(wù)器雪崩場景及解決方案

什么是應用服務(wù)雪崩？

雪崩問題

分布式系統(tǒng)存在這樣的問題。由于網(wǎng)絡(luò)的不穩(wěn)定性，任何服務(wù)的可用性都不是100%。當網(wǎng)絡(luò)不穩(wěn)定時，作為服務(wù)提供商，可能會被拖死，導致服務(wù)調(diào)用器堵塞，最終導致雪崩連鎖效應。

緩存雪崩

當緩存服務(wù)器重啟或大量緩存集中在一定時間內(nèi)時，也會給后端系統(tǒng)(如DB)數(shù)據(jù)庫后端出現(xiàn)故障，導致應用服務(wù)器雪崩。

雪崩效應產(chǎn)生的幾種場景

緩存雪崩解決方案

緩存失效的幾種情況：

1.緩存服務(wù)器掛斷

2.高峰期緩存局部失效

3.熱點緩存失效

解決方案：

1.避免不同的緩存集中故障key設(shè)置不同的超時時間

2.增加互斥鎖，控制數(shù)據(jù)庫請求，重建緩存。

3.增加緩存HA，如：redis集群。

雪崩的整體解決方案

一般來說，保護服務(wù)依賴主要有三種解決方案：

(1)熔斷模式

該模式主要是指電路熔斷器。如果線路電壓過高，保險絲將熔斷以防止火災。在我們的系統(tǒng)中，如果目標服務(wù)呼叫緩慢或大量加班，此時，熔斷服務(wù)呼叫，對于后續(xù)呼叫請求，不繼續(xù)呼叫目標服務(wù)，直接返回，快速釋放資源。如果目標服務(wù)有所改善，請恢復呼叫。

重點監(jiān)控機器性能指標

總之，除了cpu、除了內(nèi)存和線程數(shù)，重點監(jiān)控數(shù)據(jù)庫端的長期事務(wù)sql加班等，絕大多數(shù)應用服務(wù)器的雪崩場景來自數(shù)據(jù)庫端的性能瓶頸，導致數(shù)據(jù)庫端的大量瓶頸，最終拖累應用服務(wù)器，最后是大面積的雪崩。

(2)隔離模式

這種模式就像按類型將系統(tǒng)要求劃分為小島一樣。當一個小島被點燃時，它不會影響其他小島。

例如，線程池可以用于隔離不同類型的要求，每種類型的要求不會相互影響。如果一種類型的要求線程資源耗盡，則直接返回后續(xù)類型的要求，不再呼叫后續(xù)資源。該模型有許多使用場景，如拆卸服務(wù)，使用單獨的服務(wù)器部署重要服務(wù)，或公司最近推廣的多中心。

(3)限流模式

上述熔斷模式和隔離模式屬于錯誤后的容錯處理機制，限流模式可稱為預防模式。限流模式主要是提前設(shè)置各種類型的最高要求QPS閾值，如果高于設(shè)定的閾值，請求將直接返回，后續(xù)資源將不再被調(diào)用。這種模式不能解決服務(wù)依賴的問題，只能解決系統(tǒng)整體資源分配的問題，因為沒有流量限制的請求仍然可能導致雪崩效應。

熔斷設(shè)計

熔斷設(shè)計主要參考hystrix做法。最重要的是三個模塊：熔斷要求判斷算法、熔斷恢復機制、熔斷報警

(1)熔斷要求判斷機制算法:使用無鎖循環(huán)隊列計數(shù)，默認維護每個熔斷器10個bucket，每1秒一個bucket，每個blucket默認錯誤超過50%，10秒內(nèi)中斷攔截20個請求，記錄請求的成功、失敗、加班和拒絕。

（2）熔斷恢復：對于被熔斷的請求，每隔5s允許部分請求通過，如果請求是健康的（RT<250ms）要求健康恢復。

(3)熔斷報警:對于熔斷請求，如果異常請求超過某些設(shè)置，則報警。

隔離設(shè)計

一般采用兩種隔離方式

（1）線程池隔離模式：使用線程池存儲當前請求，線程池處理請求，設(shè)置任務(wù)返回處理超時間，并將積累的請求積累到線程池隊列中。這樣，每個依賴的服務(wù)申請線程池都需要有一定的資源消耗。其優(yōu)點是可以處理緊急流量（當流量峰值到來時，數(shù)據(jù)可以存儲在線程池組中緩慢處理）

（2）信號量隔離模式：使用原子計數(shù)器（或信號量）記錄運行中有多少線程。請先判斷計數(shù)器的值。如果超過設(shè)定的最大線程數(shù)，則丟棄更改類型的新請求。如果不超過，則執(zhí)行計數(shù)操作請求以計數(shù)器 1求返回計數(shù)器-1。這種方法是嚴格控制線程并立即返回模式，無法處理緊急流量（當流量峰值到來時，處理的線程超過數(shù)量，其他請求將直接返回，不繼續(xù)要求依賴的服務(wù)）

超時機制設(shè)計

(1)超時有兩種，一種是要求等待超時，另一種是要求操作超時。

(2)等待加班:在任務(wù)進入隊列時設(shè)置任務(wù)進入隊列時間，判斷隊長任務(wù)進入隊列時間是否大于加班時間，超過任務(wù)時丟棄任務(wù)。

(3)運行超時:直接使用線程池提供的get方法。

如何提前發(fā)現(xiàn)雪崩？

首先，讓系統(tǒng)不崩潰，然后通過監(jiān)控發(fā)現(xiàn)要求接近或超過閥門值，然后根據(jù)具體情況進行處理。接近或超過閥門值的過程可稱為“提前發(fā)現(xiàn)雪崩”。

以上是雪崩應用服務(wù)場景和技術(shù)方案總結(jié)。如有問題，請聯(lián)系騰佑科技在線客服！