場(chǎng)景

客戶(hù)投訴有問(wèn)題，于是研發(fā)測(cè)試運(yùn)維開(kāi)始投入定位和分析問(wèn)題。

A 研發(fā)去查日志，但是線(xiàn)上機(jī)器好多，一臺(tái)一臺(tái)的看， 日志文件太大，網(wǎng)速又慢，只能干等......

B 研發(fā)同學(xué)覺(jué)得數(shù)據(jù)庫(kù)可能有問(wèn)題，但是自己又不能直接操作數(shù)據(jù)庫(kù)，只能找DBA，但是DBA正好不在......

C 運(yùn)維同學(xué)更頭大，一邊要應(yīng)付研發(fā)和測(cè)試的各種問(wèn)題，一邊還要自己查機(jī)器CPU、內(nèi)存、io、網(wǎng)絡(luò)、程序 狀態(tài)，而且還那么多機(jī)器

解決方案

這種情況就需要一套“立體化、自動(dòng)化、可視化的監(jiān)控”，具體實(shí)現(xiàn)如下:
1、立體化
將故障分析和定位時(shí)涉及的所有的相關(guān)信息都要監(jiān)控起來(lái)，共分為5層

（1）業(yè)務(wù)層

收集和分析業(yè)務(wù)層的訪(fǎng)問(wèn)量、成功率等指標(biāo)，例如當(dāng)系統(tǒng)被刷的時(shí)候，業(yè)務(wù)層能夠一目了然的看出訪(fǎng)問(wèn)量 會(huì)增加很多。

（2）應(yīng)用服務(wù)層

以URI為維度的分析，可以看到某個(gè)URI的訪(fǎng)問(wèn)量、HTTP響應(yīng)碼分布、HTTP響應(yīng)時(shí)間等指標(biāo)

應(yīng)用服務(wù)層與業(yè)務(wù)層并不是一一對(duì)應(yīng)的關(guān)系，一個(gè)業(yè)務(wù)可能對(duì)應(yīng)多個(gè)應(yīng)用服務(wù)層的URI，一個(gè)URI也可能對(duì)應(yīng)多個(gè)業(yè)務(wù)層的業(yè)務(wù)

（3）接口調(diào)用層

接口調(diào)用層指的是系統(tǒng)依賴(lài)的外部系統(tǒng)接口，收集的信息包括訪(fǎng)問(wèn)情況，包括時(shí)延、錯(cuò)誤碼、次數(shù)等，當(dāng)外部系統(tǒng)故障導(dǎo)致我們的業(yè)務(wù)故障時(shí)，通過(guò)接口調(diào)用層就能夠快速的定位具體問(wèn)題

（4）基礎(chǔ)組件層

基礎(chǔ)組件層指系統(tǒng)依賴(lài)的底層組件，例如容器、數(shù)據(jù)庫(kù)、緩存、消息隊(duì)列

不同的組件收集的信息不一樣，例如數(shù)據(jù)庫(kù)MySQL的監(jiān)控指標(biāo)包括連接數(shù)、請(qǐng)求數(shù)、查詢(xún)行數(shù)、更新行數(shù)等，而緩存包括 使用率、踢出率、命中率等

（5）基礎(chǔ)設(shè)施層

基礎(chǔ)設(shè)施層指操作系統(tǒng)狀態(tài)、網(wǎng)絡(luò)狀態(tài)，收集的信息，包括cpu使用率、內(nèi)存使用率、網(wǎng)卡流量、連接數(shù)等

2、自動(dòng)化

不要再由人工去分析日志或者執(zhí)行命令了，而是由程序自動(dòng)完成這些動(dòng)作

當(dāng)故障定位的時(shí)候需要這些信息時(shí)，可以立即看到，節(jié)省故障定位時(shí)間

為此我們開(kāi)發(fā)了一套數(shù)據(jù)收集和分析系統(tǒng)，這套系統(tǒng)可以從其它各個(gè)系統(tǒng)(包括業(yè)務(wù)系統(tǒng)、運(yùn)維系統(tǒng)等)獲取并分析數(shù)據(jù)，例如日志數(shù)據(jù)、狀態(tài)數(shù)據(jù)等

數(shù)據(jù)自動(dòng)化收集和分析系統(tǒng)的結(jié)構(gòu)如下:

Logstash用于采集日志，redis用于緩存日志，elasticsearch用于存儲(chǔ)和分析日志

3、可視化

故障定位所需要的信息能夠通過(guò)圖表和數(shù)字直觀(guān)的展示出來(lái)

有了自動(dòng)化的收集和分析作為基礎(chǔ)，可視化只需要將數(shù)據(jù)做成圖表展示即可

除此以外，同比、環(huán)比這類(lèi)數(shù)據(jù)也可以通過(guò)系統(tǒng)直觀(guān)的展示出來(lái)，方便快速判斷問(wèn)題所在

內(nèi)容整理自"面向業(yè)務(wù)的立體化高可用架構(gòu)設(shè)計(jì)"
作者李運(yùn)華 阿里資深工程師