英特爾在云存儲軟件的解決方案

在北京以數(shù)據(jù)造化智見未來為主題的2013中國存儲峰會在北京盛大開幕。作為一年一度的中國信息產(chǎn)業(yè)界領袖級會議，本次大會得到了中國軟件行業(yè)協(xié)會、中國計算機學會存儲技術(shù)專業(yè)委員會、武漢國家光電實驗室和國防科技大學計算機學院的大力支持。在下午軟件定義與數(shù)據(jù)中心論壇上，英特爾亞太研發(fā)公司基礎架構(gòu)實驗室高級軟件開發(fā)工程師周淵為大家現(xiàn)場分享軟件定義云存儲解決方案，帶給大家全新的云存儲軟件的趨勢與觀點。

英特爾在云存儲軟件的解決方案圖一

在演講現(xiàn)場，周淵分析道，軟件定義存儲這個概念大家都在談，但僅靠幾個名詞很難有深入的理解，對此給大家分享一個英特爾實際在做的關(guān)于對象存儲的項目，希望能對大家有幫助。首先是關(guān)于對象存儲的一些基本概念，大家可能理解最多是本地文件系統(tǒng)，比如本地的一塊硬盤格式化成NTFS，向應用程序提供了Posix接口，然后是傳統(tǒng)的分布式文件系統(tǒng)，也會向應用程序提供Posix接口。而對象存儲有所不同，通常來說一個對象存儲，首先會有一套RESTful 的接口，然后是一個代理/控制節(jié)點，主要做關(guān)于數(shù)據(jù)定位，最后面就是真正的存儲節(jié)點，用于存儲數(shù)據(jù)。與傳統(tǒng)的文件系統(tǒng)比，最大的差別在接口。

另一方面，值得注意的是對象存儲系統(tǒng)持久性，通常有三種機制，第一種就是說對于非常“熱”的數(shù)據(jù)可以用副本機制，對冷一點數(shù)據(jù)可以應用糾刪碼機制，實際情況中采用混合的方案：既有冷數(shù)據(jù)也有熱數(shù)據(jù)。這里其實也可以理解為是一個區(qū)分的服務等級，“比方說你給我最多錢就讓你用三副本的形勢來存儲。”對象存儲在過去幾年時間里面發(fā)展非常快，Amazon S3已經(jīng)有2萬億數(shù)據(jù)，每秒鐘請求數(shù)有110萬。

英特爾在云存儲軟件的解決方案圖二

Erasure Coding很早就出現(xiàn)了，一直在不同的領域變動進化。實際上，其基本思想是，把數(shù)據(jù)切割成小塊的形式，再對這些小塊數(shù)據(jù)計算校驗碼得出校驗塊，這樣當原始數(shù)據(jù)塊丟失時，可以通過校驗塊計算出原始數(shù)據(jù)，于是可以容忍一定程度上的數(shù)據(jù)丟失�？偨Y(jié)來說就是用CPU資源節(jié)省存儲資源。英特爾對此專門來做存儲相關(guān)的一個庫，提供英特爾® 架構(gòu)上erasure code，壓縮等的支持，從實驗數(shù)據(jù)來看，這個庫性能是很不錯的，我們也正嘗試把它開源。現(xiàn)在這個項目也利用了這個庫在Swift里面支持Erasure Coding。

對于Swift來說，可以這么理解，它是Amazon S3的替代品。最早是由Rackspace共享出來給OpenStack提供存儲對象的一個項目。首先它有一個RESTful的接口來訪問，其提供container模型來組織對象，針對非機構(gòu)化數(shù)據(jù)來提供最終一致性。當然最重要的一點就是說它提供了一個很好的擴展性：可以用最普通的硬件組建的服務器就可以把它擴展好。比較具體一點來說Swift 里有個Ring的概念，Ring是一組內(nèi)部的一致性hash表。當大家在硬盤上存儲數(shù)據(jù)的時候，Swift通過Ring里的算法，可以保證三個副本放在盡可能不同的位置，不同副本之間盡量不產(chǎn)生影響，同時后臺會有一些不同的進程來維護一致性。值得注意的是，Swift不是分布式文件系統(tǒng)，不提供Posix的接口，不支持ACID語義操作，不是NoSQL數(shù)據(jù)存儲，不提供對塊級別存儲服務。

從總體來看，Swift分成幾個部分，最前面它有Proxy節(jié)點負責處理所有的請求，并將請求發(fā)至后端存儲節(jié)點去訪問真實數(shù)據(jù)。Swift的結(jié)構(gòu)很清晰，里面正好有一個proxy，像一個程序的入口出口一樣，所以英特爾考慮在這個節(jié)點上做文章，在讀寫請求做Erasure code編解碼。然后以Container為模型來組織數(shù)據(jù)，通過container的元數(shù)據(jù)(metadata)來識別其中的對象是否被編碼過。這和現(xiàn)有Swift架構(gòu)保持一致，還可以同時支持線上和線下的Erasure code。通過更加靈活的配置及優(yōu)化策略，可以更好地做一個Tiering的解決方案，在這里英特爾更多是定義好一個機制而非策略，策略可以根據(jù)用戶自己的需要去定義。