大(dà)規模分(fēn)布式存儲系統的定義如(rú)下:
“分(fēn)布式存儲系統是大(dà)量普通PC服務器通過Internet互聯,對外作(zuò)爲一個整體(tǐ)提供存儲服務。”
分(fēn)布式存儲系統具有如(rú)下幾個特性:
●可(kě)擴展。分(fēn)布式存儲系統可(kě)以擴展到幾百台甚至幾千台的集群規模,而且,随着集群規模的增長,系統整體(tǐ)性能表現爲線性增長。
●低成本。分(fēn)布式存儲系統的自(zì)動容錯、自(zì)動負載均衡機(jī)制使其可(kě)以構建在普通PC機(jī)之上。另外,線性擴展能力也使得(de)增加、減少機(jī)器非常方便,可(kě)以實現自(zì)動運維。
●高性能。無論是針對整個集群還(hái)是單台服務器,都(dōu)要求分(fēn)布式存儲系統具備高性能。
●易用。分(fēn)布式存儲系統需要能夠提供易用的對外接口,另外,也要求具備完善的監控、運維工(gōng)具,并能夠方便地與其他(tā)系統集成,例如(rú),從(cóng)Hadoop雲計(jì)算系統導入數據。
分(fēn)布式存儲系統的挑戰主要在于數據、狀态信息的持久化,要求在自(zì)動遷移、自(zì)動容錯、并發讀(dú)寫的過程中保證數據的一緻性。分(fēn)布式存儲涉及的技術(shù)主要來(lái)自(zì)兩個領域:分(fēn)布式系統以及數據庫,如(rú)下所示:
●數據分(fēn)布:如(rú)何将數據分(fēn)布到多台服務器才能夠保證數據分(fēn)布均勻?數據分(fēn)布到多台服務器後如(rú)何實現跨服務器讀(dú)寫操作(zuò)?
●一緻性:如(rú)何将數據的多個副本複制到多台服務器,即使在異常情況下,也能夠保證不同副本之間的數據一緻性?
●容錯:如(rú)何檢測到服務器故障?如(rú)何自(zì)動将出現故障的服務器上的數據和服務遷移到集群中其他(tā)服務器?
●負載均衡:新增服務器和集群正常運行過程中如(rú)何實現自(zì)動負載均衡?數據遷移的過程中如(rú)何保證不影(yǐng)響已有服務?
●事(shì)務與并發控制:如(rú)何實現分(fēn)布式事(shì)務?如(rú)何實現多版本并發控制?
●易用性:如(rú)何設計(jì)對外接口使得(de)系統容易使用?如(rú)何設計(jì)監控系統并将系統的内部狀态以方便的形式暴露給運維人(rén)員(yuán)?
●壓縮/解壓縮:如(rú)何根據數據的特點設計(jì)合理(lǐ)的壓縮/解壓縮算法?如(rú)何平衡壓縮算法節省的存儲空間和消耗的CPU計(jì)算資源?
分(fēn)布式存儲系統挑戰大(dà),研發周期長,涉及的知識面廣。一般來(lái)講,工(gōng)程師(shī)如(rú)果能夠深入理(lǐ)解分(fēn)布式存儲系統,理(lǐ)解其他(tā)互聯網後台架構不會再有任何困難。
本站(zhàn)文章(zhāng)爲深圳網站(zhàn)建設·源美網絡原創策劃,如(rú)有版權糾紛或者違規問(wèn)題,請(qǐng)聯系我們删除,謝謝!
售後保障
承諾任何問(wèn)題1小時内解決數據備份
更安全、更高效、更穩定價格公道精準
項目經理(lǐ)精準報價不弄虛作(zuò)假合作(zuò)無風(fēng)險
重合同講信譽,無效全額退款