互聯(lián)網(wǎng)百萬級應(yīng)用的大數(shù)據(jù)處理問題

我說的大數(shù)據(jù)量處理是指同時需要對數(shù)據(jù)進(jìn)行檢索查詢，同時有高并發(fā)的增刪改操作。記得以前在XX做電力時，幾百萬條數(shù)據(jù)，那時一個檢索查詢可以讓你等你分鐘。現(xiàn)在我是想探討下對大數(shù)據(jù)量的處理，那時我就在想例如騰訊，盛大，動輒數(shù)以億計的帳號，怎么能這么

我說的大數(shù)據(jù)量處理是指同時需要對數(shù)據(jù)進(jìn)行檢索查詢，同時有高并發(fā)的增刪改操作。記得以前在XX做電力時，幾百萬條數(shù)據(jù)，那時一個檢索查詢可以讓你等你分鐘。現(xiàn)在我是想探討下對大數(shù)據(jù)量的處理，那時我就在想例如騰訊，盛大，動輒數(shù)以億計的帳號，怎么能這么快呢， 于是找到了互聯(lián)網(wǎng)現(xiàn)在對數(shù)據(jù)處理的發(fā)展。

對于大數(shù)據(jù)量處理，如果是互聯(lián)網(wǎng)處理的話，一般分為下面階段：

1. 第一階段，所有數(shù)據(jù)都裝入一個數(shù)據(jù)庫，當(dāng)數(shù)據(jù)量大了肯定就會出現(xiàn)問題，就像剛剛說的查詢，于是想辦法。
2. 第二階段，那時肯定想做緩存機(jī)制，確實可以如加上緩存Memcached，但緩存也是治標(biāo)不治本，數(shù)據(jù)量太大了也是不行，于是有了下面的方法。
3. 第三階段，master-slave模式，進(jìn)行主從數(shù)據(jù)庫，master提供寫，slave進(jìn)行讀，這個適合于有寫造成數(shù)據(jù)庫卡的方法，XX那個還是不行，于是——
4. 第四階段，垂直分庫，這個意義還是不大，對于這種采集數(shù)據(jù)的，于是——
5. 第五階段，進(jìn)行水平分庫，這個不錯，記得以前從興也是按這個分時間水平分庫，其實可以分的更細(xì)點(diǎn)估計效果更好
6. 第六階段，用nosql做了，關(guān)于nosql怎么做可以參考google的bigtable

其實本文主要目的也是想探討nosql對大數(shù)據(jù)量的處理：

NOSQL就是將寫操作在內(nèi)存中進(jìn)行，定時或按某一條件將內(nèi)存中的數(shù)據(jù)直接寫到磁盤上，一定基礎(chǔ)上是解決了一些問題：

1. 高并發(fā)讀寫的需求?
2. 海量數(shù)據(jù)訪問的需求
3. 數(shù)據(jù)庫橫向擴(kuò)展性的需求

CAP理論來說，nosql是犧牲了一致性，做到了AP，一致性只是保證了最終一致性。

缺點(diǎn)也很明顯：

1. 當(dāng)機(jī)器掛了數(shù)據(jù)將會丟失，可以考慮共享內(nèi)存解決。

補(bǔ)充：其實這里可以展開了講，一種是通過共享內(nèi)存來實現(xiàn)。

集群內(nèi)存：根據(jù)的是Quorum NRW理論，比如你有N臺機(jī)子用來集群，每次你進(jìn)行讀寫數(shù)據(jù)時可以至少要同步到X個節(jié)點(diǎn)才算成功，所以你每次讀數(shù)據(jù)時只需要讀大于N-X個節(jié)點(diǎn)就能保持你的正確率，其實就是對數(shù)據(jù)進(jìn)行的冗余備份，不過我們存的是內(nèi)存，相對于直接的磁盤操作，跨網(wǎng)絡(luò)進(jìn)行內(nèi)存操作可以更快。

其實還一種保證數(shù)據(jù)一致性，就是記錄日志，當(dāng)數(shù)據(jù)每次寫操作內(nèi)存時都進(jìn)行日志記錄，然后再在內(nèi)存中進(jìn)行寫操作，至少很多數(shù)據(jù)庫就是這樣做的，如redis。

2. 內(nèi)存的限制，內(nèi)存有限當(dāng)寫數(shù)據(jù)操作太大的時候內(nèi)存也會爆。

解決：Bigtable的做法是通過bloom-filter算法合并掉相同的操作，比如UPDATE A='A' ，update A='B'時可以直接合并了。

基本理論基礎(chǔ)

nosql理論基礎(chǔ)：內(nèi)存是新的硬盤，硬盤是新的磁盤

關(guān)系型數(shù)據(jù)庫都要實現(xiàn)事務(wù)ACID，即：原子性(Atomicity)，一致性(Consistency)，隔離性(Isolation)， 持久性(Durability)。

CAP理論：

?大多數(shù)NoSQL數(shù)據(jù)庫都不支持事務(wù)，不支持SQL等，所以還是得保留關(guān)系型數(shù)據(jù)庫。現(xiàn)在有人提到用內(nèi)存數(shù)據(jù)庫， 總體如果是簡單業(yè)務(wù)來說，NOSQL的速度比內(nèi)存數(shù)據(jù)庫更快，但NOSQL最大缺點(diǎn)，不支持事務(wù)，不支持SQL查詢等。

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識，若有侵權(quán)等問題請及時與本網(wǎng)聯(lián)系，我們將在第一時間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com