分(fēn)享到:

分(fēn)布式存儲概念

日(rì)期:2016-11-08 21:31:00     閱讀(dú):488     文章(zhāng)來(lái)源:源美網絡     标簽:深圳網站(zhàn)建設,深圳網站(zhàn)制作(zuò),企業網站(zhàn)建設

大(dà)規模分(fēn)布式存儲系統的定義如(rú)下:

“分(fēn)布式存儲系統是大(dà)量普通PC服務器通過Internet互聯,對外作(zuò)爲一個整體(tǐ)提供存儲服務。”

分(fēn)布式存儲系統具有如(rú)下幾個特性:

●可(kě)擴展。分(fēn)布式存儲系統可(kě)以擴展到幾百台甚至幾千台的集群規模,而且,随着集群規模的增長,系統整體(tǐ)性能表現爲線性增長。

●低成本。分(fēn)布式存儲系統的自(zì)動容錯、自(zì)動負載均衡機(jī)制使其可(kě)以構建在普通PC機(jī)之上。另外,線性擴展能力也使得(de)增加、減少機(jī)器非常方便,可(kě)以實現自(zì)動運維。

●高性能。無論是針對整個集群還(hái)是單台服務器,都(dōu)要求分(fēn)布式存儲系統具備高性能。

●易用。分(fēn)布式存儲系統需要能夠提供易用的對外接口,另外,也要求具備完善的監控、運維工(gōng)具,并能夠方便地與其他(tā)系統集成,例如(rú),從(cóng)Hadoop雲計(jì)算系統導入數據。

分(fēn)布式存儲系統的挑戰主要在于數據、狀态信息的持久化,要求在自(zì)動遷移、自(zì)動容錯、并發讀(dú)寫的過程中保證數據的一緻性。分(fēn)布式存儲涉及的技術(shù)主要來(lái)自(zì)兩個領域:分(fēn)布式系統以及數據庫,如(rú)下所示:

●數據分(fēn)布:如(rú)何将數據分(fēn)布到多台服務器才能夠保證數據分(fēn)布均勻?數據分(fēn)布到多台服務器後如(rú)何實現跨服務器讀(dú)寫操作(zuò)?

●一緻性:如(rú)何将數據的多個副本複制到多台服務器,即使在異常情況下,也能夠保證不同副本之間的數據一緻性?

●容錯:如(rú)何檢測到服務器故障?如(rú)何自(zì)動将出現故障的服務器上的數據和服務遷移到集群中其他(tā)服務器?

●負載均衡:新增服務器和集群正常運行過程中如(rú)何實現自(zì)動負載均衡?數據遷移的過程中如(rú)何保證不影(yǐng)響已有服務?

●事(shì)務與并發控制:如(rú)何實現分(fēn)布式事(shì)務?如(rú)何實現多版本并發控制?

●易用性:如(rú)何設計(jì)對外接口使得(de)系統容易使用?如(rú)何設計(jì)監控系統并将系統的内部狀态以方便的形式暴露給運維人(rén)員(yuán)?

●壓縮/解壓縮:如(rú)何根據數據的特點設計(jì)合理(lǐ)的壓縮/解壓縮算法?如(rú)何平衡壓縮算法節省的存儲空間和消耗的CPU計(jì)算資源?

分(fēn)布式存儲系統挑戰大(dà),研發周期長,涉及的知識面廣。一般來(lái)講,工(gōng)程師(shī)如(rú)果能夠深入理(lǐ)解分(fēn)布式存儲系統,理(lǐ)解其他(tā)互聯網後台架構不會再有任何困難。



文章(zhāng)引用:

本站(zhàn)文章(zhāng)爲深圳網站(zhàn)建設·源美網絡原創策劃,如(rú)有版權糾紛或者違規問(wèn)題,請(qǐng)聯系我們删除,謝謝!

上一篇: 日(rì)企精細化管理(lǐ)作(zuò)風(fēng),劉強東受益良多

下一篇: 利用Python進行數據分(fēn)析

返回列表
最新案例
OUR ADVANTAGE WORKS

售後保障

承諾任何問(wèn)題1小時内解決

數據備份

更安全、更高效、更穩定

價格公道精準

項目經理(lǐ)精準報價不弄虛作(zuò)假

合作(zuò)無風(fēng)險

重合同講信譽,無效全額退款