自動分層使混合存儲發(fā)揮最大效益

這是一個不平衡的世界。很少有富人占據(jù)絕大多數(shù)財富，少數(shù)領(lǐng)先品牌制造商占據(jù)全行業(yè)絕大多數(shù)利潤……，在80/20法則中描述的類似的不平衡現(xiàn)象IT存儲應(yīng)用領(lǐng)域也很常見——儲存設(shè)備的大部分效率實際上是由一小部分應(yīng)用程序消耗的。也就是說，絕大多數(shù)應(yīng)用程序不會消耗太多I/O效率，所以我們只需要為那些極度消耗I/O對于效率的關(guān)鍵應(yīng)用，可以準(zhǔn)備少量的高效存儲裝置。對于其他應(yīng)用的存儲需求，可以使用廉價的低價存儲設(shè)備來滿足。

混合存儲的好處——在刀口上使用高效裝置

從存儲裝置本身的特性來看，SSD效率高，但單位容量成本也高；傳統(tǒng)硬盤單位容量成本低，效率相對較差。

存儲系統(tǒng)的配置以80/20規(guī)則為基礎(chǔ)，采用全方位SSD配置不合理——事實上，只需要一小部分應(yīng)用程序SSD無論應(yīng)用是否緊迫，都給予高效率SSD資源顯然不符合成本效益；然而，傳統(tǒng)的全硬盤配置已經(jīng)逐漸失敗。雖然傳統(tǒng)硬盤足以應(yīng)付I/O一般應(yīng)用需求低，但受先天架構(gòu)限制，只有通過形成大規(guī)模陣列的笨拙方式，才能拼湊出關(guān)鍵應(yīng)用所需的高度I/O高效率，為了一小部分關(guān)鍵應(yīng)用I/O需求往往需要幾十個甚至幾百個硬盤組成陣列，即使?jié)M足了I/O但也消耗了大量的空間和電力，顯然不符合效率。

因此，為了兼顧效率和成本，同時使用SSD與傳統(tǒng)硬盤的混合存儲架構(gòu)是當(dāng)前的IT最合理的環(huán)境方法是在存儲設(shè)備中混合小比例SSD(一般來說，占總存儲容量的10~15%)，這足以滿足一小部分關(guān)鍵應(yīng)用的需要I/O其他應(yīng)用程序通過傳統(tǒng)硬盤提供存儲服務(wù)。

自動分層技術(shù)使混合結(jié)構(gòu)真正實用化

就高原而言，同時使用SSD與傳統(tǒng)硬盤的分層結(jié)構(gòu)是最合理、最有效的存儲配置。但在實踐中，這種混合結(jié)構(gòu)將面臨如何將各種數(shù)據(jù)放置在合適的存儲層的困難。

理論上，我們可以用人工分層存儲和配置MIS預(yù)測每個主機的應(yīng)用程序I/O需求，然后分別配置不同層次的存儲資源，并視為I/O調(diào)整存儲資源的配置。

然而，這種人工調(diào)整存儲資源配置的方式可能適用于個人端或極小規(guī)模的應(yīng)用環(huán)境，但適用于企業(yè)IT其實環(huán)境是不可行的。

首先，企業(yè)環(huán)境規(guī)模大，存儲系統(tǒng)必須服務(wù)大量的主機和應(yīng)用程序；其次，主機和應(yīng)用程序I/O需求會隨時間而變化。面對大量的前端主機應(yīng)用程序，將隨著時間的推移而變化，為了保持存儲資源的最佳配置，必須繼續(xù)跟蹤每個主機應(yīng)用程序I/O并針對負載變化I/O負載變化，存儲配置的頻繁調(diào)整，管理負擔(dān)，遠遠超過人工作業(yè)的負擔(dān)。

因此，只有通過自動分層存儲和數(shù)據(jù)遷移技術(shù)，分層存儲架構(gòu)才能真正實用，并由軟件執(zhí)行I/O存取負載的追蹤與統(tǒng)計工作，并依照預(yù)設(shè)政策或演算法，自動在各儲存層間遷移資料，從而自動讓整個儲存資源的配置達到最佳化。這也就是說，如何「自動化」，是分層存儲的關(guān)鍵。

自動分層存儲技術(shù)的四個方向

自動分層存儲技術(shù)的高原理非常簡單。首先，必須建立跨多個存儲層的磁盤區(qū)域，然后通過一個I/O監(jiān)控單元，跟蹤和統(tǒng)計磁盤區(qū)域的每個塊I/O負載，然后由數(shù)據(jù)移動單元，根據(jù)每個塊I/O負載程度，定期進行數(shù)據(jù)遷移操作，并將每個塊放置在適當(dāng)?shù)拇鎯?/p>

雖然高原管理并不復(fù)雜，但由于設(shè)計理念和存儲基礎(chǔ)設(shè)施的差異，各廠家的自動分層存儲技術(shù)在結(jié)構(gòu)和運行模式上也存在許多差異。我們可以通過存儲分層類型、分層操作粒度、分層遷移操作周期和管理政策權(quán)限來檢查和比較各廠家的自動分層存儲技術(shù)特點。

存儲分層類型

最基本的分層類型是將存儲裝置簡單地分為SSD和硬盤兩層，比如早版IBMEasyTier，以及普安ESDS3000的AutomatedStorageTiering，采用兩層架構(gòu)。

只分為SSD硬盤兩層的主要出發(fā)點是機械硬盤的速度遠低于任何速度SSD，因此，沒有必要細分硬盤類型，如果只分為兩層，分層判斷和管理將更加簡單。

但就實際環(huán)境而言，雖然I/O效率遠低于硬盤，但1萬轉(zhuǎn)和1萬轉(zhuǎn).5萬轉(zhuǎn)的高速硬盤和7200轉(zhuǎn)的低成本硬盤在單位成本上還有很大的差距，所以絕大多數(shù)廠家都采用分層結(jié)構(gòu)SSD、高速硬盤和低速硬盤的三層區(qū)，將硬盤分為高速和低成本兩種類型。由于主流磁盤裝置的典型效率，三層可以提供比二層架構(gòu)更詳細的分層——成本區(qū)分，但分層運作也會更復(fù)雜。

少數(shù)廠家的自動分層功能，如EMCVMAX的FASTVP與普安ESVA的AutomatedStorageTiering，它還可以支持最多4層，分層更詳細，但架構(gòu)和操作將變得非常復(fù)雜。

最詳細的分層是DellCompellentStorageCenter的DataProgression自動分層技術(shù)，DataProgression也是三層架構(gòu)，但區(qū)分方式不同。自StorageCenterOS6.4版以后，DataProgression采取由SLCSSD、MLCSSD前兩層由傳統(tǒng)硬盤組成的三層架構(gòu)分別有兩種類型SSD，所有傳統(tǒng)硬盤都屬于第三層。同時使用兩種獨特的方法SSD架構(gòu)，DataProgression設(shè)定由寫入效能優(yōu)越的SLCSSD承擔(dān)所有寫入I/O，可以考慮高讀取效率和成本MLCSSD承擔(dān)高讀取I/O，低成本的傳統(tǒng)硬盤與低成本的傳統(tǒng)硬盤一起儲存I/O負載數(shù)據(jù)。

除磁盤裝置類型分為基本三層外，DataProgression也可以在每個儲存層內(nèi)按照RAID型式與組成RAID組的磁盤數(shù)量等，進一步分層更細，DataProgression在目前的分層存儲技術(shù)中，這種夾有小分層的架構(gòu)也是獨一無二的，大多數(shù)其他制造商只允許在每個存儲層中使用一種RAID群組。

分層作業(yè)的粒度

存取行為分析和數(shù)據(jù)移動采用自動分層存儲功能「粒度(granularity)」，一般來說，容量單位越小越有利，有幾百個KB對于單位塊進行搬遷作業(yè)，顯然比以數(shù)GB整個單位Volume或LUN不僅消耗的資源較少，而且能達到更高的儲存資源配置效率，它還可以更準(zhǔn)確地遷移真正需要遷移的數(shù)據(jù)塊。

數(shù)十或數(shù)百GB的Volume或LUN在中間，通常只有一小部分塊經(jīng)常被訪問。因此，在實施數(shù)據(jù)分層遷移操作時，如果自動分層存儲系統(tǒng)能夠以較小的塊為單位，則可以更準(zhǔn)確地將真正經(jīng)常訪問的塊保留在高效存儲區(qū)，其余塊將遷移到低成本存儲區(qū)，從而更有效地利用存儲空間。若粒度較大，則在遷移數(shù)據(jù)時，很容易連帶遷移到不需要遷移到數(shù)據(jù)塊的地方，從而造成存儲資源的浪費。

但另一方面，如果操作的精細度越小，系統(tǒng)對應(yīng)的塊數(shù)和相應(yīng)的塊數(shù)metadata控制器的負載越多，越多。

目前的自動分層儲存技術(shù)都是屬于「Sub-LUN」或「Sub-Volume」等級，即可比LUN或Volume較小的單位來執(zhí)行數(shù)據(jù)遷移作業(yè)，但是差別很大，粒度最細的可以達到幾百。KB或數(shù)MB等級，如DellCompellent的DataProgression(512KB～4MB)、普安的AutomatedStorageTiering(256KB～2MB)，以及EMCVMAX的FASTVP(7.5MB)等。

常見的粒度是幾十個MB到上百MB等級，如HDS的HitachiDynamicTiering(32MB與