服務(wù)器托管故障如何解決

　　服務(wù)器托管故障如何解決

　　服務(wù)器是網(wǎng)站運(yùn)行的重要設(shè)備，是24小時(shí)全天運(yùn)行的，因此在運(yùn)行過(guò)程中會(huì)出現(xiàn)各種千奇百怪的故障，除非你是很高的運(yùn)維高手，否則是很難一下子找到問(wèn)題原因所在的。那是不是出現(xiàn)故障就沒(méi)法解決了?當(dāng)然不是，以服務(wù)器托管為例，在服務(wù)器托管時(shí)出現(xiàn)故障時(shí)應(yīng)做到以下幾點(diǎn)：

　　一、盡可能搞清楚問(wèn)題的前因后果

　　不要一下子就扎到服務(wù)器前面，你需要先搞明白對(duì)這臺(tái)服務(wù)器有多少已知的情況，還有故障的具體情況。不然你很可能就是在無(wú)的放矢。在故障解決之前你需要弄清楚：

　　故障是什么時(shí)候發(fā)現(xiàn)的?故障的表現(xiàn)是什么?無(wú)響應(yīng)?報(bào)錯(cuò)?故障是否可重現(xiàn)?故障有沒(méi)有出現(xiàn)的規(guī)律?最后一次對(duì)整個(gè)平臺(tái)進(jìn)行更新的內(nèi)容是什么(代碼、服務(wù)器等)?以及故障影響的特定用戶群是什么樣的(已登錄的， 退出的， 某個(gè)地域的…)?

　　二、有誰(shuí)在線?哪些用戶訪問(wèn)過(guò)?

　　# w# last

　　用這兩個(gè)命令看看都有誰(shuí)在線，有哪些用戶訪問(wèn)過(guò)。這不是什么關(guān)鍵步驟，不過(guò)最好別在其他用戶正干活的時(shí)候來(lái)調(diào)試系統(tǒng)。有道是一山不容二虎嘛。(ne cook in the kitchen is enough.)

　　三、故障出現(xiàn)之前發(fā)生了什么?

　　# history

　　查看一下之前服務(wù)器上執(zhí)行過(guò)的命令?？匆幌驴偸菦](méi)錯(cuò)的，加上前面看的誰(shuí)登錄過(guò)的信息，應(yīng)該有點(diǎn)用。另外作為 admin 要注意，不要利用自己的權(quán)限去侵犯別人的隱私哦。

　　到這里先提醒一下，等會(huì)你可能會(huì)需要更新 HISTTIMEFORMAT 環(huán)境變量來(lái)顯示這些命令被執(zhí)行的時(shí)間。對(duì)要不然光看到一堆不知道啥時(shí)候執(zhí)行的命令，同樣會(huì)令人抓狂的。

　　四、現(xiàn)在服務(wù)器在運(yùn)行的進(jìn)程是什么

　　# pstree -a# ps aux

　　這都是查看現(xiàn)有進(jìn)程的。 ps aux 的結(jié)果比較雜亂， pstree -a 的結(jié)果比較簡(jiǎn)單明了，可以看到正在運(yùn)行的進(jìn)程及相關(guān)用戶。

　　五、監(jiān)聽(tīng)的網(wǎng)絡(luò)服務(wù)

　　# netstat -ntlp# netstat -nulp# netstat -nxlp

　　一般都分開(kāi)運(yùn)行這三個(gè)命令，不想一下子看到列出一大堆所有的服務(wù)。netstat -nalp 倒也可以。不過(guò)小編絕不會(huì)用 numeric 選項(xiàng) (鄙人一點(diǎn)淺薄的看法：IP 地址看起來(lái)更方便)。

　　找到所有正在運(yùn)行的服務(wù)，檢查它們是否應(yīng)該運(yùn)行。查看各個(gè)監(jiān)聽(tīng)端口。在 netstat 顯示的服務(wù)列表中的 PID 和 ps aux 進(jìn)程列表中的是一樣的。

　　如果服務(wù)器上有好幾個(gè) JAVA 或者 Erlang 什么的進(jìn)程在同時(shí)運(yùn)行，能夠按 PID 分別找到每個(gè)進(jìn)程就很重要了。

　　通常我們建議每臺(tái)服務(wù)器上運(yùn)行的服務(wù)少一點(diǎn)，必要時(shí)可以增加服務(wù)器。如果你看到一臺(tái)服務(wù)器上有三四十個(gè)監(jiān)聽(tīng)端口開(kāi)著，那還是做個(gè)記錄，回頭有空的時(shí)候清理一下，重新組織一下服務(wù)器。

　　六、查看服務(wù)器硬件

　　# lspci# dmidecode# ethtool

　　有很多服務(wù)器還是裸機(jī)狀態(tài)，可以看一下：

　　找到 RAID 卡 (是否帶 BBU 備用電池?)、 CPU、空余的內(nèi)存插槽。根據(jù)這些情況可以大致了解硬件問(wèn)題的來(lái)源和性能改進(jìn)的辦法。

　　網(wǎng)卡是否設(shè)置好? 是否正運(yùn)行在半雙工狀態(tài)? 速度是 10MBps? 有沒(méi)有 TX/RX 報(bào)錯(cuò)?

　　七、CPU 和內(nèi)存

　　# free -m# uptime# top# htop

　　注意以下問(wèn)題:

　　還有空余的內(nèi)存嗎? 服務(wù)器是否正在內(nèi)存和硬盤(pán)之間進(jìn)行 swap?

　　還有剩余的 CPU 嗎? 服務(wù)器是幾核的? 是否有某些 CPU 核負(fù)載過(guò)多了?

　　服務(wù)器最大的負(fù)載來(lái)自什么地方? 平均負(fù)載是多少?

　　八、IO 性能

　　# iostat -kx 2# vmstat 2 10# mpstat 2 10# dstat -top-io -top-bio

　　這些命令對(duì)于調(diào)試后端性能非常有用。

　　檢查磁盤(pán)使用量：服務(wù)器硬盤(pán)是否已滿?

　　是否開(kāi)啟了 swap 交換模式 (si/so)?

　　CPU 被誰(shuí)占用：系統(tǒng)進(jìn)程? 用戶進(jìn)程? 虛擬機(jī)?

　　dstat 是我的最?lèi)?ài)。用它可以看到誰(shuí)在進(jìn)行 IO： 是不是 MySQL 吃掉了所有的系統(tǒng)資源? 還是你的 PHP 進(jìn)程?

　　九、內(nèi)核、中斷和網(wǎng)絡(luò)

　　你的中斷請(qǐng)求是否是均衡地分配給 CPU 處理，還是會(huì)有某個(gè) CPU 的核因?yàn)榇罅康木W(wǎng)絡(luò)中斷請(qǐng)求或者 RAID 請(qǐng)求而過(guò)載了?

　　SWAP 交換的設(shè)置是什么?對(duì)于工作站來(lái)說(shuō) swappinness 設(shè)為 60 就很好， 不過(guò)對(duì)于服務(wù)器就太糟了：你最好永遠(yuǎn)不要讓服務(wù)器做 SWAP 交換，不然對(duì)磁盤(pán)的讀寫(xiě)會(huì)鎖死 SWAP 進(jìn)程。

　　conntrack_max 是否設(shè)的足夠大，能應(yīng)付你托管服務(wù)器的流量?

　　在不同狀態(tài)下(TIME_WAIT, …) TCP 連接時(shí)間的設(shè)置是怎樣的?

　　如果要顯示所有存在的連接，netstat 會(huì)比較慢， 你可以先用 ss 看一下總體情況。

　　你還可以看一下 Linux TCP tuning 了解網(wǎng)絡(luò)性能調(diào)優(yōu)的一些要點(diǎn)。

　　十、系統(tǒng)日志和內(nèi)核消息

　　查看錯(cuò)誤和警告消息，比如看看是不是很多關(guān)于連接數(shù)過(guò)多導(dǎo)致?

　　看看是否有硬件錯(cuò)誤或文件系統(tǒng)錯(cuò)誤?

　　分析是否能將這些錯(cuò)誤事件和前面發(fā)現(xiàn)的疑點(diǎn)進(jìn)行時(shí)間上的比對(duì)。

　　十一、應(yīng)用系統(tǒng)日志

　　這里邊可分析的東西就多了， 不過(guò)恐怕你作為運(yùn)維人員是沒(méi)功夫去仔細(xì)研究它的。關(guān)注那些明顯的問(wèn)題，比如在一個(gè)典型的 LAMP(Linux+Apache+Mysql+Perl)應(yīng)用環(huán)境里:

　　Apache & Nginx; 查找訪問(wèn)和錯(cuò)誤日志， 直接找 5xx 錯(cuò)誤， 再看看是否有 limit_zone 錯(cuò)誤。

　　MySQL; 在mysql.log 找錯(cuò)誤消息，看看有沒(méi)有結(jié)構(gòu)損壞的表， 是否有 innodb 修復(fù)進(jìn)程在運(yùn)行，是否有 disk/index/query 問(wèn)題.

　　PHP-FPM; 如果設(shè)定了 php-slow 日志， 直接找錯(cuò)誤信息 (php, mysql, memcache, …)，如果沒(méi)設(shè)定，趕緊設(shè)定。

　　Varnish; 在varnishlog 和 varnishstat 里, 檢查 hit/miss 比. 看看配置信息里是否遺漏了什么規(guī)則，使最終用戶可以直接攻擊你的后端?

　　HA-Proxy; 后端的狀況如何?健康狀況檢查是否成功?是前端還是后端的隊(duì)列大小達(dá)到最大值了?

　　十二、定時(shí)任務(wù)

　　是否有某個(gè)定時(shí)任務(wù)運(yùn)行過(guò)于頻繁?

　　是否有些用戶提交了隱藏的定時(shí)任務(wù)?

　　在出現(xiàn)故障的時(shí)候，是否正好有某個(gè)備份任務(wù)在執(zhí)行?

　　十三、掛載點(diǎn)和文件系統(tǒng)

　　一共掛載了多少文件系統(tǒng)?

　　有沒(méi)有某個(gè)服務(wù)專(zhuān)用的文件系統(tǒng)? (比如 MySQL?)

　　文件系統(tǒng)的掛載選項(xiàng)是什么： noatime? default? 有沒(méi)有文件系統(tǒng)被重新掛載為只讀模式了?

　　磁盤(pán)空間是否還有剩余?

　　是否有大文件被刪除但沒(méi)有清空?

　　如果磁盤(pán)空間有問(wèn)題，你是否還有空間來(lái)擴(kuò)展一個(gè)分區(qū)?

　　搞清楚了上面這些情況之后，你現(xiàn)在也具備了深挖下去的條件。

　　為了不斷滿足大中型企業(yè)信息化需求和互聯(lián)網(wǎng)事業(yè)的日益發(fā)展，以及各種互聯(lián)網(wǎng)商業(yè)活動(dòng)的需求，互聯(lián)網(wǎng)基礎(chǔ)業(yè)務(wù)服務(wù)商騰佑科技特別推出了滿足中小型企業(yè)信息化需求服務(wù)器托管、服務(wù)器租用、虛擬主機(jī)、vps主機(jī)以及云服務(wù)器。不僅節(jié)省了信息化發(fā)展成本，而且也能滿足其發(fā)展需求。除此之外，騰佑科技為基于網(wǎng)站建設(shè)的企業(yè)提供域名注冊(cè)和智能建站的業(yè)務(wù)。并以一流的設(shè)備、一流的技術(shù)團(tuán)隊(duì)以及一流的售后服務(wù)獲得了用戶的一致好評(píng)。