互聯(lián)網(wǎng)基任和技能要求

以服務(wù)為中心，以穩(wěn)定、安全、高效為三個基本點(diǎn)，確保公司的互聯(lián)網(wǎng)業(yè)務(wù)能夠7×24小時為用戶提供優(yōu)質(zhì)服務(wù)。

運(yùn)維人員對公司互聯(lián)網(wǎng)業(yè)務(wù)所依賴的基礎(chǔ)設(shè)施、基礎(chǔ)服務(wù)、線上業(yè)務(wù)進(jìn)行穩(wěn)定性加強(qiáng)，進(jìn)行日常巡檢發(fā)現(xiàn)服務(wù)可能存在的隱患，對整體架構(gòu)進(jìn)行優(yōu)化以屏蔽常見的運(yùn)行故障，多數(shù)據(jù)中接入提高業(yè)務(wù)的容災(zāi)能力。

通過監(jiān)控、日志分析等技術(shù)手段，及時發(fā)現(xiàn)和響應(yīng)服務(wù)故障，減少服務(wù)中斷時間，使公司的互聯(lián)網(wǎng)業(yè)務(wù)滿足預(yù)期的可用性要求，繼續(xù)穩(wěn)定地為用戶提供服務(wù)。

在安全方面，運(yùn)維人員需要關(guān)注業(yè)務(wù)運(yùn)營涉及的各個方面，以確保用戶能夠安全、完整地訪問在線業(yè)務(wù)。

從網(wǎng)絡(luò)邊界劃分，ACL管理、流量分析、DDoS防御，掃描和修復(fù)操作系統(tǒng)和開源軟件的漏洞，然后應(yīng)用服務(wù)XSS、SQL注入防護(hù)；

從安全流程梳、代碼白盒黑盒掃描、權(quán)限審計，到入侵行為檢測、業(yè)務(wù)風(fēng)險控制等。

運(yùn)維人員需要確保公司提供的互聯(lián)網(wǎng)行業(yè)在安全可控的狀態(tài)下運(yùn)行，確保公司業(yè)務(wù)數(shù)據(jù)和用戶隱私數(shù)據(jù)的安全，并有能力抵御各種惡意攻擊。

在保證業(yè)務(wù)穩(wěn)定安全的前提下，還需要保證業(yè)務(wù)的高效運(yùn)行和公司的快速產(chǎn)出。運(yùn)維工作需要優(yōu)化業(yè)務(wù)的各個方面。

比如，IO優(yōu)化和提高數(shù)據(jù)庫性能，減少圖片壓縮和帶寬使用，提供的互聯(lián)網(wǎng)業(yè)務(wù)以較小的資源投資帶來最大的用戶價值和體驗。

同時，還需要通過各種工具平臺提升內(nèi)部產(chǎn)品發(fā)布交付的效率，提升公司內(nèi)運(yùn)維相關(guān)的工作效率。

一、運(yùn)維工作分類

隨著業(yè)務(wù)規(guī)模的不斷發(fā)展，互聯(lián)網(wǎng)公司越成熟，運(yùn)維崗位劃分就越詳細(xì)。

目前，許多大型互聯(lián)網(wǎng)公司在起步階段只有系統(tǒng)運(yùn)行和維護(hù)。隨著服務(wù)規(guī)模和服務(wù)質(zhì)量的要求，工作逐步細(xì)分。

運(yùn)維團(tuán)隊的工作分類(見圖1-1)和職責(zé)一般如下。

(1)系統(tǒng)運(yùn)維

負(fù)責(zé)系統(tǒng)運(yùn)行和維護(hù)IDC、網(wǎng)絡(luò)、CDN建設(shè)基礎(chǔ)服務(wù)（LVS、NTP、DNS）；負(fù)責(zé)資產(chǎn)管理、服務(wù)器選擇、交付和維護(hù)。具體工作職責(zé)如下：

1.IDC建設(shè)數(shù)據(jù)中心

收集業(yè)務(wù)需求，從骨干網(wǎng)絡(luò)分布、數(shù)據(jù)中心建筑、數(shù)據(jù)中心建筑等方面估計未來數(shù)據(jù)中心的發(fā)展規(guī)模Internet選型數(shù)據(jù)中心在訪問、網(wǎng)絡(luò)攻擊防御、擴(kuò)容、空間預(yù)留、外部專線、現(xiàn)場服務(wù)支持等方面進(jìn)行評估。負(fù)責(zé)數(shù)據(jù)中心的建設(shè)和現(xiàn)場維護(hù)。

2.網(wǎng)絡(luò)建設(shè)

網(wǎng)絡(luò)架構(gòu)的設(shè)計和規(guī)劃包括：數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)、傳輸網(wǎng)絡(luò)架構(gòu)CDN網(wǎng)絡(luò)架構(gòu)、網(wǎng)絡(luò)調(diào)優(yōu)等日常運(yùn)維工作。

3.LVS負(fù)載均衡和SNAT建設(shè)

LVS根據(jù)網(wǎng)絡(luò)規(guī)模和業(yè)務(wù)需求，構(gòu)建負(fù)載均衡集群是整個站點(diǎn)架構(gòu)中的流量入口。

完成網(wǎng)絡(luò)與業(yè)務(wù)服務(wù)器的連接，提供高性能、高可用的負(fù)載調(diào)度能力和統(tǒng)一的網(wǎng)絡(luò)層防攻擊能力。

SNAT.通過集群部署，集中提供數(shù)據(jù)中心的公網(wǎng)訪問服務(wù)，確保出網(wǎng)服務(wù)的高性能和高可用性。

4.CDN規(guī)劃和建設(shè)

CDN工作分為第三方和自建兩部分。

建立第三方CDN根據(jù)業(yè)務(wù)發(fā)展趨勢，規(guī)劃CDN新節(jié)點(diǎn)建設(shè)布局完善；CDN業(yè)務(wù)監(jiān)控，保障CDN系統(tǒng)運(yùn)行穩(wěn)定高效。

分析業(yè)務(wù)加速頻道的文件特性和數(shù)量，制定最優(yōu)的加速策略和資源匹配；負(fù)責(zé)用戶劫持等CDN日常故障排查工作。

5.服務(wù)器選擇、交付和維護(hù)

負(fù)責(zé)服務(wù)器的測試和選擇，包括服務(wù)器和部件的基本測試和業(yè)務(wù)測試，降低整機(jī)功率，提高機(jī)架的部署密度。

結(jié)合對公司業(yè)務(wù)的了解，推廣新硬件、新方案減少業(yè)務(wù)的服務(wù)器投入規(guī)模。負(fù)責(zé)服務(wù)器硬件故障的診斷定位，服務(wù)器硬件監(jiān)控、健康檢查工具的開發(fā)和維護(hù)。

6.OS、內(nèi)核選型和OS相關(guān)維護(hù)工作

負(fù)責(zé)整個平臺OS選型、定制、內(nèi)核優(yōu)化，Patch更新和內(nèi)部版本發(fā)布；建立基礎(chǔ)YUM包管理和分發(fā)中心提供常用的包版本庫；跟進(jìn)各種日常生活OS相關(guān)故障；為不同的業(yè)務(wù)類型提供有針對性的優(yōu)化支持。

7.資產(chǎn)管理

數(shù)據(jù)中心、網(wǎng)絡(luò)、機(jī)柜、服務(wù)器等基本物理信息的記錄和管理ACL、IP制定有效的流程，確保信息的準(zhǔn)確性；開放API為自動化運(yùn)維提供數(shù)據(jù)支持的接口。

8.基礎(chǔ)服務(wù)建設(shè)

業(yè)務(wù)對DNS、NTP、SYSLOG基礎(chǔ)服務(wù)依賴性很高，需要設(shè)計高可用架構(gòu)，避免單點(diǎn)，提供穩(wěn)定的基礎(chǔ)服務(wù)。

(2)運(yùn)維應(yīng)用

應(yīng)用和維護(hù)負(fù)責(zé)在線服務(wù)的變更、服務(wù)狀態(tài)監(jiān)控、服務(wù)災(zāi)難容忍和數(shù)據(jù)備份、定期調(diào)查和故障應(yīng)急處理。詳細(xì)的工作職責(zé)如下。

1.設(shè)計評審

在產(chǎn)品研發(fā)階段，參與產(chǎn)品設(shè)計評審，從運(yùn)維角度提出評審意見，使服務(wù)滿足運(yùn)維準(zhǔn)入的高可用性要求。

2.服務(wù)管理

負(fù)責(zé)制定在線業(yè)務(wù)升級和回滾計劃，并進(jìn)行變更和實施。掌握服務(wù)與服務(wù)之間的關(guān)系和服務(wù)所依賴的各種資源。發(fā)現(xiàn)服務(wù)缺陷，及時通知并促進(jìn)解決。

制定服務(wù)穩(wěn)定性指標(biāo)和準(zhǔn)入標(biāo)準(zhǔn)，不斷完善和優(yōu)化程序和系統(tǒng)的功能和效率，提高運(yùn)行質(zhì)量。提高監(jiān)控內(nèi)容和報警準(zhǔn)確性。

當(dāng)在線服務(wù)出現(xiàn)故障時，應(yīng)立即響應(yīng)。已知的在線故障可流程通知并按計劃執(zhí)行。未知故障組織相關(guān)人員聯(lián)合排除障礙物。

3.資源管理

管理各服務(wù)器資產(chǎn)，梳理服務(wù)器資源、數(shù)據(jù)中心分布、網(wǎng)絡(luò)專線和帶寬，合理利用服務(wù)器資源，根據(jù)不同服務(wù)的需要分配不同配置的服務(wù)器，確保服務(wù)器資源的充分利用。

4.例行檢查

定期制定并不斷改進(jìn)的服務(wù)調(diào)查點(diǎn)。根據(jù)制定的服務(wù)調(diào)查點(diǎn)，定期檢查服務(wù)。及時追查調(diào)查過程中發(fā)現(xiàn)的問題，消除可能的隱患。

5.預(yù)案管理

確定服務(wù)所需的監(jiān)控、系統(tǒng)指標(biāo)的閾值或臨界點(diǎn)，以及在發(fā)生這種情況后的處理計劃。

建立和更新服務(wù)計劃文件，并根據(jù)日常故障不斷補(bǔ)充和改進(jìn)，以提高計劃的完整性?？梢灾贫ê驮u估各種計劃，定期進(jìn)行計劃演練，以確保計劃的可執(zhí)行性。

6.數(shù)據(jù)備份

制定數(shù)據(jù)備份策略，按規(guī)范進(jìn)行數(shù)據(jù)備份。確保數(shù)據(jù)備份的可用性和完整性，并定期進(jìn)行數(shù)據(jù)恢復(fù)測試。

(3)數(shù)據(jù)庫運(yùn)維

數(shù)據(jù)庫運(yùn)維負(fù)責(zé)數(shù)據(jù)存儲方案設(shè)計、數(shù)據(jù)庫表設(shè)計、索引設(shè)計和SQL優(yōu)化、數(shù)據(jù)庫變更、監(jiān)控、備份、高可用設(shè)計等工作。具體工作職責(zé)如下。

1.設(shè)計評審

在產(chǎn)品研發(fā)的初始階段，從DBA數(shù)據(jù)存儲方案、庫表設(shè)計方案、SQL開發(fā)標(biāo)準(zhǔn)、索引設(shè)計方案等，使服務(wù)滿足數(shù)據(jù)庫使用的高可用性和高性能要求。

2.容量規(guī)劃

掌握負(fù)責(zé)服務(wù)的數(shù)據(jù)庫的容量上限，清楚地了解當(dāng)前的瓶頸點(diǎn)。當(dāng)服務(wù)未達(dá)到容量上限時，應(yīng)及時進(jìn)行優(yōu)化、分拆或擴(kuò)展。

3.數(shù)據(jù)備份和災(zāi)備

定期完成數(shù)據(jù)恢復(fù)測試，確保數(shù)據(jù)備份的可用性和完整性。

4.數(shù)據(jù)庫監(jiān)控

完善數(shù)據(jù)庫存活和性能監(jiān)控，及時了解數(shù)據(jù)庫運(yùn)行狀態(tài)及故障。

數(shù)據(jù)庫安全建設(shè)數(shù)據(jù)庫賬戶系統(tǒng)，嚴(yán)格控制賬戶權(quán)限和開放范圍，降低誤操作和數(shù)據(jù)泄露的風(fēng)險；加強(qiáng)離線備份數(shù)據(jù)的管理，降低數(shù)據(jù)泄露的風(fēng)險。

5.數(shù)據(jù)庫高可用性和性能優(yōu)化

設(shè)計相應(yīng)的數(shù)據(jù)庫單點(diǎn)風(fēng)險和故障切換方案，減少故障對數(shù)據(jù)庫服務(wù)的影響；不斷優(yōu)化新存儲方案、硬件優(yōu)化、文件系統(tǒng)優(yōu)化、數(shù)據(jù)庫優(yōu)化、SQL在保證成本不增加或少量增加的情況下，數(shù)據(jù)庫可以支持更多的業(yè)務(wù)請求。

6.自動化系統(tǒng)建設(shè)

數(shù)據(jù)庫自動化運(yùn)維系統(tǒng)的設(shè)計與開發(fā)，包括數(shù)據(jù)庫部署、自動擴(kuò)容、分庫分表、權(quán)限管理、備份恢復(fù)等SQL在線審核、故障切換等功能。

7.運(yùn)維研發(fā)

運(yùn)維研發(fā)負(fù)責(zé)資產(chǎn)管理、監(jiān)控系統(tǒng)、運(yùn)維平臺、數(shù)據(jù)權(quán)限管理系統(tǒng)等一般運(yùn)維平臺的設(shè)計和研發(fā)。提供各種服務(wù)API用于運(yùn)維或研發(fā)人員，封裝更高層次的自動化運(yùn)維系統(tǒng)。具體工作職責(zé)如下。

8.運(yùn)維平臺

記錄和管理服務(wù)及其相關(guān)關(guān)系，協(xié)助運(yùn)維人員完成機(jī)器管理、重啟、更名、初始化、域名管理、流量切換和故障計劃實施等日常運(yùn)維操作。

9.監(jiān)控系統(tǒng)

負(fù)責(zé)監(jiān)控系統(tǒng)的設(shè)計和開發(fā)，完成公司服務(wù)器和各種網(wǎng)絡(luò)設(shè)備的資源指標(biāo)、在線業(yè)務(wù)運(yùn)行指標(biāo)的收集、報警、存儲、分析、顯示和數(shù)據(jù)挖掘，不斷提高報警的及時性、準(zhǔn)確性和智能性，促進(jìn)公司服務(wù)器資源的合理配置。

10.自動化部署系統(tǒng)

參與部署自動化系統(tǒng)的開發(fā)，負(fù)責(zé)自動化部署系統(tǒng)所需的基礎(chǔ)數(shù)據(jù)和信息，負(fù)責(zé)權(quán)限管理API開發(fā)、Web端開發(fā)。結(jié)合云計算，研發(fā)和提供PaaS進(jìn)一步提高服務(wù)部署速度和用戶體驗，提高資源利用率。

(4)安全運(yùn)維

運(yùn)維安全負(fù)責(zé)網(wǎng)絡(luò)、系統(tǒng)和業(yè)務(wù)的安全加固，進(jìn)行常規(guī)的安全掃描和滲透測試，開發(fā)安全工具和系統(tǒng)，處理安全事件。具體工作職責(zé)如下。

1.建立安全制度

根據(jù)公司內(nèi)部的具體流程，制定切實可行、有效的安全制度。

2.安全培訓(xùn)

定期為員工提供有針對性的安全培訓(xùn)和考核，在全公司建立安全負(fù)責(zé)人制度。

3.風(fēng)險評估

對物理網(wǎng)絡(luò)、服務(wù)器、業(yè)務(wù)應(yīng)用、用戶數(shù)據(jù)等方面的整體風(fēng)險評估結(jié)果，通過黑白盒的測試和檢查機(jī)制定期產(chǎn)生。

4.安全建設(shè)

根據(jù)風(fēng)險評估結(jié)果，最薄弱的環(huán)節(jié)包括設(shè)計安全防線、部署安全設(shè)備、及時更新補(bǔ)丁、防病毒、源代碼自動掃描和業(yè)務(wù)產(chǎn)品安全咨詢。為了降低可能泄露數(shù)據(jù)的價值，目的是通過加密、匿名、混淆數(shù)據(jù)，甚至定期刪除。

5.安全合規(guī)

為了滿足例如支付牌照等合規(guī)性要求，安全團(tuán)隊承擔(dān)著安全合規(guī)的對外接口人工作。

6.應(yīng)急響應(yīng)

建立安全報警系統(tǒng)，通過安全中心收集第三方發(fā)現(xiàn)的安全問題，組織各部門對發(fā)現(xiàn)的安全問題進(jìn)行修復(fù)、影響面評估和后續(xù)安全原因調(diào)查。

二是運(yùn)維工作的發(fā)展過程

在人員較少的情況下，早期的運(yùn)維團(tuán)隊主要從事數(shù)據(jù)中心建設(shè)、基礎(chǔ)網(wǎng)絡(luò)建設(shè)、服務(wù)器采購和服務(wù)器安裝交付。在線服務(wù)的變更、監(jiān)控和管理很少。

此時的運(yùn)維團(tuán)隊更屬于基礎(chǔ)設(shè)施，可以提供簡單、可用的網(wǎng)絡(luò)環(huán)境和系統(tǒng)環(huán)境。

隨著業(yè)務(wù)產(chǎn)品的逐漸成熟，對服務(wù)質(zhì)量的要求越來越高。此時，運(yùn)維團(tuán)隊還將承擔(dān)一些服務(wù)器監(jiān)控，并負(fù)責(zé)LVS、Nginx4/7層運(yùn)維工作與業(yè)務(wù)邏輯無關(guān)。

此時，服務(wù)變化更多的是一個接一個的手動操作，或者有一些簡單的批量腳本。監(jiān)控的重點(diǎn)是服務(wù)器狀態(tài)和資源的使用，對服務(wù)應(yīng)用狀態(tài)的監(jiān)控很少，監(jiān)控更多地使用各種開源系統(tǒng)，如Nagios、Cacti等。

由于業(yè)務(wù)規(guī)模和復(fù)雜性的不斷增加，運(yùn)維團(tuán)隊將逐步分為應(yīng)用運(yùn)維和系統(tǒng)運(yùn)維兩部分。應(yīng)用運(yùn)維開始接管在線業(yè)務(wù)，逐步開展服務(wù)監(jiān)控梳理、數(shù)據(jù)備份和服務(wù)變更。

隨著服務(wù)的深入，應(yīng)用運(yùn)維工程師有能力開始簡單優(yōu)化服務(wù)。同時，為了應(yīng)對每天大量的服務(wù)變化，我們也開始編寫各種運(yùn)維工具，可以方便地批量改變一些特定的服務(wù)。

隨著業(yè)務(wù)規(guī)模的增加，由于容量規(guī)劃不足或抗風(fēng)險能力弱，基礎(chǔ)設(shè)施的故障越來越多，迫使運(yùn)維人員開始將更多的精力投入到多數(shù)據(jù)中心的災(zāi)難容忍和計劃管理中。

業(yè)務(wù)規(guī)模達(dá)到一定程度后，開源監(jiān)控系統(tǒng)在性能和功能方面無法滿足業(yè)務(wù)需求；大量的服務(wù)變化和復(fù)雜的服務(wù)關(guān)系在效率和準(zhǔn)確性方面都無法滿足業(yè)務(wù)需求。

安全方面也發(fā)生了各種事件，迫使我們在安全防御上投入更多的精力。漸漸地，運(yùn)維團(tuán)隊形成了前面提到的五大工作分類，每一類都需要專業(yè)人才。

此時，系統(tǒng)運(yùn)維更加注重基礎(chǔ)設(shè)施的建設(shè)和運(yùn)維，為應(yīng)用運(yùn)維工程師提供穩(wěn)定高效的網(wǎng)絡(luò)環(huán)境，并將服務(wù)器等資源交付給應(yīng)用運(yùn)維工程師。應(yīng)用運(yùn)維更注重服務(wù)運(yùn)行狀態(tài)和效率。

數(shù)據(jù)庫運(yùn)維是應(yīng)用運(yùn)維的細(xì)化，更注重數(shù)據(jù)庫領(lǐng)域的自動化、性能優(yōu)化和安全防御。運(yùn)維研發(fā)和運(yùn)維安全提供各種平臺和工具，進(jìn)一步提高運(yùn)維工程師的工作效率，使業(yè)務(wù)服務(wù)運(yùn)行更加穩(wěn)定、高效、安全。

如圖1-2所示，為四個階段，如圖1-2所示。

圖1-2運(yùn)維發(fā)展過程

手動管理階段：業(yè)務(wù)流量小，服務(wù)器數(shù)量相對較少，系統(tǒng)復(fù)雜性不高。對于日常業(yè)務(wù)管理操作，我們更多的是登錄服務(wù)器手動操作，屬于自己的戰(zhàn)斗，每個人都有自己的操作模式，缺乏必要的操作標(biāo)準(zhǔn)和流程機(jī)制，如業(yè)務(wù)目錄環(huán)境。

工具批量操作階段：隨著服務(wù)器規(guī)模和系統(tǒng)復(fù)雜性的增加，全手動操作模式已不能滿足業(yè)務(wù)快速發(fā)展的需要。因此，操作和維護(hù)人員逐漸開始使用批量操作工具，不同的腳本程序出現(xiàn)在不同的操作類型中。

然而，每個團(tuán)隊都有自己的工具，每次操作需求發(fā)生變化時都需要調(diào)整工具。這主要是因為環(huán)境和操作規(guī)范不夠，導(dǎo)致程序處理能力薄弱。此時，雖然效率有所提高，但很快就遇到了瓶頸。

操作質(zhì)量沒有太大提高，甚至可能導(dǎo)致大規(guī)模問題。我們開始建立大量的開始建立大量的流程規(guī)范，如審查機(jī)制，在繼續(xù)后續(xù)操作之前啟動服務(wù)器觀察10分鐘，升級后至少觀察20分鐘。

這些主要依靠人的監(jiān)督和執(zhí)行，但在實際過程中往往不到位，反而降低了工作效率。

平臺管理階段：現(xiàn)階段對運(yùn)維效率和誤操作率要求較高。我們決定通過平臺承載標(biāo)準(zhǔn)和流程，開始建設(shè)運(yùn)維平臺，解放人力，提高質(zhì)量。

此時，服務(wù)的變化動作抽象，形成了統(tǒng)一的操作方法、服務(wù)目錄環(huán)境、服務(wù)操作模式等標(biāo)準(zhǔn)。例如，程序的啟動和停止接口必須包括啟動、停止、重載等。通過約束操作過程，如上述在線服務(wù)器觀察10分鐘。

在平臺上強(qiáng)制設(shè)置暫停檢查點(diǎn)。第一臺服務(wù)器運(yùn)行完成后，運(yùn)維人員需要填寫相應(yīng)的檢查項目，然后才能繼續(xù)執(zhí)行后續(xù)部署動作。

系統(tǒng)自調(diào)度階段：服務(wù)量大、服務(wù)關(guān)聯(lián)關(guān)系復(fù)雜、各運(yùn)維平臺眾多。將批量操作轉(zhuǎn)化為平臺操作的原始方式不再合適，需要對服務(wù)變更進(jìn)行更高層次的抽象。

將每一臺服務(wù)器抽象成一個容器，由調(diào)度系統(tǒng)根據(jù)資源使用情況，將服務(wù)調(diào)度、部署到合適的服務(wù)器上，自動化完成與周邊各個運(yùn)維系統(tǒng)的聯(lián)動，比如監(jiān)控系統(tǒng)、日志系統(tǒng)、備份系統(tǒng)等。

通過自調(diào)度系統(tǒng)，可以根據(jù)服務(wù)運(yùn)行情況自動處理常見的服務(wù)故障。運(yùn)維人員的工作也將進(jìn)入產(chǎn)品設(shè)計階段，協(xié)助研發(fā)人員改造服務(wù)，使其能夠進(jìn)入自調(diào)度系統(tǒng)。

在整個運(yùn)維和維護(hù)的發(fā)展過程中，我們希望所有的工作都能自動化，減少人們的重復(fù)工作，降低知識傳遞的成本，使我們的操作和維護(hù)交付更高效、更安全，使產(chǎn)品運(yùn)行更穩(wěn)定。對于故障處理，我們也希望從事后處理到提前發(fā)現(xiàn)，從人工處理到系統(tǒng)自動災(zāi)害容忍。