鹽城四大開源分布式存儲的一般架構

來源: 發布時間:2021-12-03

分布式存儲在大數據環境下,元數據的體量也非常大,元數據的存取性能是整個分布式文件系統性能的關鍵。常見的元數據管理可以分為集中式和分布式元數據管理架構。集中式元數據管理架構采用單一的元數據服務器,實現簡單.但是存在單點故障等問題。分布式元數據管理架構則將元數據分散在多個結點上.進而解決了元數據服務器的性能瓶頸等問題.并提高了元數據管理架構的可擴展性,但實現較為復雜,并引入了元數據一致性的問題。另外,還有一種無元數據服務器的分布式架構,通過在線算法組織數據,不需要專yong的元數據服務器。但是該架構對數據一致性的保障很困難.實現較為復雜。文件目錄遍歷操作效率低下,并且缺乏文件系統全局監控管理功能。 分布式存儲是未來數字產業生態系統構建與新基建的重要引擎。鹽城四大開源分布式存儲的一般架構

分布式存儲分為文件存儲、對象存儲和塊存儲,但它們三種存儲方式的基本架構都是大同小異的。即客戶端或應用端、元數據(MDS)服務器和數據節點服務器。客戶端和元數據服務器之間交互是“信令交互”,而客戶端到數據節點是“媒體交互”。元數據服務器或通過數據節點服務器獲取各節點服務器的基本配置情況和狀態信息。比如,客戶端需要讀取某一個文件的信息,客戶端會將相應的要求發給元數據服務器:“喂!我需要XXX,存在哪里了”,元數據服務器查詢后回答“你到xxx服務器的xxx地址+xxx服務器的xxx地址取”。客戶端拿到這個指示后,向這2臺服務器發出指令,數據節點獲得指令后,將相應的數據返回給客戶端。 臺州集中式分布式存儲數據庫分布式存儲是一種數據存儲技術,通過網絡使用企業中的每臺機器上的磁盤空間。

    Ceph:目前應用廣的開源分布式存儲系統,已得到眾多廠商的支持,許多超融合系統的分布式存儲都是基于Ceph深度定制。而且Ceph已經成為LINUX系統和OpenStack的“標配”,用于支持各自的存儲系統。Ceph可以提供對象存儲、塊設備存儲和文件系統存儲服務。同時支持三種不同類型的存儲服務的特性,在分布式存儲系統中,是很少見的。a、Ceph沒有采用HDFS的元數據尋址的方案,而且采用CRUSH算法,數據分布均衡,并行度高。而且在支持塊存儲特性上,數據可以具有強一致性,可以獲得傳統集中式存儲的使用體驗。b、對象存儲服務,Ceph支持Swift和S3的API接口。在塊存儲方面,支持精簡配置、快照、克隆。在文件系統存儲服務方面,支持Posix接口,支持快照。但是目前Ceph支持文件的性能相當其他分布式存儲系統,部署稍顯復雜,性能也稍弱,一般都將Ceph應用于塊和對象存儲。c、Ceph是去中心化的分布式解決方案,需要提前做好規劃設計,對技術團隊的要求能力比較高。特別是在Ceph擴容時,由于其數據分布均衡的特性。

說到分布式存儲,我們先來看一下傳統的存儲是怎么個樣子。傳統的存儲也稱為集中式存儲,從概念上可以看出來是具有集中性的,也就是整個存儲是集中在一個系統中的,但集中式存儲并不是一個單獨的設備,是集中在一套系統當中的多個設備,比如下圖中的EMC存儲就需要幾個機柜來存放。在這個存儲系統中包含很多組件,除了核xin的機頭(控制器)、磁盤陣列和交換機等設備外,還有管理設備等輔助設備。結構中包含一個機頭,這個是存儲系統中為核xin的部件。通常在機頭中有包含兩個控制器,互為備用,避免硬件故障導致整個存儲系統的不可用。 淺談分布式存儲中的網絡通信。

    分布式存儲系統具有如下特性:數據分為多個分片存儲在多臺服務節點上。每個分片有多個副本,存儲在不同的服務節點上。許多客戶端并發訪問系統,執行讀寫操作,每個讀寫操作在系統中需要花費不等的時間。除非下文中特別注明和討論,讀寫操作是原子的。與數據庫事務一致性的區別:數據庫事務的ACID的中也有一個一致性(consistency),但彼一致性非此一致性。ACID中的一致性是指,數據庫的事務的執行,或者說事務觀察到的數據,總是要滿足某些全局的一致性約束條件,如性約束,外鍵約束等。這個概念和數據庫的數據是否多副本沒關系。而本文的一致性在多副本的語境下才有意義。所以,數據庫事務的一致性,是指數據項之間總是滿足某些約束條件,或者說整個數據庫在滿足約束條件的意義上是正確的。 分布式存儲系統,是將數據分散存儲在多臺單獨的設備上。揚州視頻分布式存儲企業

運維告訴你分布式存儲的那些“坑”。鹽城四大開源分布式存儲的一般架構

    一般分布式存儲的MDC采用的是數據庫或內存儲數據庫來記錄數據塊和物理位置關系。客戶端向MDC發出詢問位置的請求,MDC查詢數據庫后返回請求數據的存儲位置。這種方法存儲訪問的速度較慢,而且MDC作為交通的“樞紐”,是整個存儲的核xin,當MDC發生故障,會導致整個存儲都不能使用。但是采取這個方式,也有好處,比如可以根據不同需求設置不同的副本策略等。對象存儲對象存儲是在同樣容量下提供的存儲性能比文件存儲更好,又能像文件存儲一樣有很好的共享性。實際使用中,性能不是對象存儲關注的問題,需要高性能可以用塊存儲,容量才是對象存儲關注的問題。所以對象存儲的持久化層的硬盤數量更多,單盤的容量也更大。對象存儲的數據的安全性保障也各式各樣,可以是單機raid或網絡raid,也可以副本。Ceph和google基于GFS的存儲就是典型的對象存儲。 鹽城四大開源分布式存儲的一般架構

江蘇魏晉元興智能科技有限公司主營品牌有山石網科,思福迪日志,海康威視,大華,微耕,魏晉元興VR虛擬仿真,VR,MR,發展規模團隊不斷壯大,該公司貿易型的公司。公司致力于為客戶提供安全、質量有保證的良好產品及服務,是一家私營有限責任公司企業。公司業務涵蓋網絡安全,VR,MR,VR,AI,視頻監控安防,出入口門禁失控制,價格合理,品質有保證,深受廣大客戶的歡迎。魏晉元興智能以創造***產品及服務的理念,打造高指標的服務,引導行業的發展。

99国产精品一区二区,欧美日韩精品区一区二区,中文字幕v亚洲日本在线电影,欧美日韩国产三级片
亚洲综合中文字幕第36页 | 日韩噜噜噜在线视频 | 中文字幕少妇偷人激情在线看 | 亚洲一区二区经典在线播放 | 日本亚洲精品色婷婷在线影院 | 亚洲成在线a免费 |