成長型公司如何構(gòu)建存儲架構(gòu)

隨著大數(shù)據(jù)時代的到來，合理構(gòu)建可持續(xù)的存儲架構(gòu)已經(jīng)成為企業(yè)數(shù)據(jù)中心IT主管們面臨的頭號難題之一。經(jīng)常有人問我，如何為成長型公司的大型系統(tǒng)部署存儲架構(gòu)，尤其是當這些大型系統(tǒng)承載視頻、音頻、或社交類網(wǎng)站時，該如何構(gòu)建存儲架構(gòu)？以下介紹一些我們常

隨著大數(shù)據(jù)時代的到來，合理構(gòu)建可持續(xù)的存儲架構(gòu)已經(jīng)成為企業(yè)數(shù)據(jù)中心IT主管們面臨的頭號難題之一。經(jīng)常有人問我，如何為成長型公司的大型系統(tǒng)部署存儲架構(gòu)，尤其是當這些大型系統(tǒng)承載視頻、音頻、或社交類網(wǎng)站時，該如何構(gòu)建存儲架構(gòu)？以下介紹一些我們常選擇的方法及各自的優(yōu)點。

構(gòu)建存儲架構(gòu)時，要考慮許多問題，最明顯的如存儲容量、訪問速度、緩存選擇方案、服務器共享方式、訪問協(xié)議及訪問方法、安全及備份等等。

首先，我們認為最好的存放地址是存放在云中，這些服務存放在云中會很安全，如Amazon S3，阿里云OSS，或 Qiniu’s 的動態(tài)系統(tǒng)。但是，若你是自己想存儲數(shù)據(jù)的話，你可以選擇不同類型的存儲容量。

DAS - 直接附加存儲，也稱為本地硬盤存儲，是一種最普遍、速度最快也是最為經(jīng)濟的存儲解決方案。現(xiàn)在已經(jīng)有4TB的硬盤，再加上標準機箱可以有6-8個這樣的硬盤，所以，若服務器是RAID5 配置的話，很容易就能達到20TB 以上。同時使用多個服務器的話，也很容易就能達到100TB，但是管理起來并不容易。所以，DAS是本地數(shù)據(jù)庫存儲、NFS共享存儲及其它簡單系統(tǒng)最好的存儲選擇方案。要想找一個比較簡單的存儲方案，這不失為一項最佳選擇。

NAS – 網(wǎng)絡(luò)附加存儲也比較盛行，由兩部分組成。最常見的情況就是 簡單的服務器之間的NFS 共享，這種存儲方式采用上文所述的大型TB硬盤，能存儲簡單的共享圖片甚至視頻，也能夠達到十幾TB 的存儲量。

NAS 的第二種解決方案，則是商業(yè)解決組件，如NetAppFiler， 其存儲容量可達幾百TB，是一個強大的NFS解決方案，這些通常運用于大型系統(tǒng)，但是缺點是，當系統(tǒng)擴展受成本限制時，對此類存儲進行擴展會花費很大的成本。

SAN - 存儲區(qū)域網(wǎng)絡(luò)，常被認為是NAS的“大哥”。但是，由于其成本太大且難以管理，所以，互聯(lián)網(wǎng)行業(yè)通常不選擇此解決方案。此外，該種存儲不能夠很好的響應互聯(lián)網(wǎng)公司的共享需求，因為這種方案只連接幾臺高IO要求服務器如Oracle數(shù)據(jù)庫聯(lián)系在一起。

群集存儲 - 在不用NFS 的情況下，這種方式越來越多的被用于解決共享問題。這種存儲方案最好的優(yōu)勢在于，由于是群集存儲，所以可以允許存儲冗余存在，而這在DAS 或NAS系統(tǒng)中是很難實現(xiàn)的。常用的群集存儲方式包括RedHat公司擁有的GlusterFS， 以及MogileFS。

這些系統(tǒng)通常管理起來很復雜，而且也有很多限制，如文件存放，空間管理及訪問方法。例如，GlusterFS 就是由客戶端進行管理，且以FUSE掛載，而MogileFS則根本無法掛載，因為它采用的是庫驅(qū)動API，由PHP進行訪問的等等。

群集存儲容量可以擴大，甚至擴展到100TB，通常用于中等大小的圖片或視頻系統(tǒng)，前提是已經(jīng)知道了它的限制和復雜性。

分布式存儲 – 是群集系統(tǒng)的一個遠房“表親”，完全分布式的系統(tǒng)和Google File System比較接近， 在這個系統(tǒng)中，所有的文件、分布、復制、空間等都自動由系統(tǒng)進行管理。客戶通常通過內(nèi)核驅(qū)動程序安裝該系統(tǒng)，整個分布式系統(tǒng)就像是SAN或NAS一樣工作。

這些通常都是功能強大的商業(yè)化系統(tǒng)，如北京的Loongstore(龍存科技)。它們通常至少需要幾個服務器才能開展工作，因為他們通常需要一個或更多的集群，并且其他服務器作為管理服務器來運行，除多個集群之外，多個存儲節(jié)點也可以。但是，他們可以擴展到1PB甚至更大，是大型系統(tǒng)擴展的理想選擇，并具有很高的冗余特性及極高的性能。

Flickr 或 Evernote 的API存儲 – 可達500TB 甚至1PB， 對于某些特定存儲需求，如圖片存儲，甚至可能用到幾個基于文件的API系統(tǒng)，盡管大多數(shù)情況下是用于用戶目錄的增長。Flickr和Evernote 都發(fā)布了各自的系統(tǒng)架構(gòu)，基本上都是基于HTTP文件存儲的分布式集中管理系統(tǒng)。

在這些系統(tǒng)中，客戶端調(diào)用目錄尋找文件，然后獲得一個URL反饋，指向在服務器或群集服務器上的需要進行讀/寫的文件。然后，客戶端再發(fā)一個HTTP請求來讀取這個文件，這個請求由單個服務器或一個小的群集服務器（使用復制或冗余RAID）進行處理，從本質(zhì)上來說，這是一個共享存儲系統(tǒng)，可以無限制擴展。但是，同其它共享存儲系統(tǒng)一樣，都面臨著文件移動，管理難等挑戰(zhàn)。

Amazon S3 使用的就是類似于這樣的一個系統(tǒng)，使用基于HTTP的存儲及你的內(nèi)部目錄了解你的文件存儲地址。

Facebook - 最優(yōu)秀的擴展案例就是Facebook系統(tǒng)， 該系統(tǒng)設(shè)計用于存放幾十億的文件，每秒處理幾百萬的請求。 該系統(tǒng)有點像 NFS/GFS 系統(tǒng)，在硬盤格式、有線網(wǎng)絡(luò)格式上都采用了最佳的選擇方案，在網(wǎng)絡(luò)和硬盤上采取最短的文件傳輸路徑。你不會想在不久的將來構(gòu)建一個這樣的系統(tǒng)，但是，花時間去研究一下，你會發(fā)現(xiàn)很有趣。

您會發(fā)現(xiàn)，成長型公司可選擇多種不同的存儲方式。但是，只有前幾種存儲方案對于成長型公司是比較實際的，DAS， NAS及群集存儲。每種存儲方案有其各自的優(yōu)缺點。云絡(luò)科技很高興與您一起選擇、構(gòu)建并運行最適合您的解決方案。

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com