-
HDFS的設計目標
- 檢測以及快速恢復硬件問題.
- 流式的數據訪問.
- 移動計算比移動數據的代價小.
- 簡化一致性模型.
- 超大規模數據集
- 異構軟硬件平臺之間的可移植性.
-
HDFS的結構模型
HDFS是一個主從的結構模型.一個HDFS集群是由一個NameNode和若干個DataNode組成.NameNode主節點是主服務器.管理文件系統的命名空間和和客戶端對文件的訪問操作.DataNode是集群中的一般節點.負責數據的存儲.客戶端通過NameNode
向DataNode節點交換訪問文件系統.聯系NameNode獲取文件元數.文件I/O操作直接和NameCode進行交互.從數據的內部看文件被分為若干個數據塊.典型數據塊的大小為 64MB. 假設如果客戶端要訪問一個文件。首先,客戶端從NameNode中獲得
組成文件的數據塊位置的列表,即知道數據塊存儲在哪些DateNode 中;然后客戶端直接從DataNode上讀取文件數據.NameNode不參與文件傳輸.NameNode 是HDFS的守護程序。主要負責大數據文件如何被分割成數據塊。被分割后的數據塊分別為存儲在哪些DataNode的數據節點上.
NameNode負責維護文件系統的命名空間.任何對文件系統的名稱空間或屬性的修改都將被NameNode記錄下來.
-
數據的復制與存放
HDFS是在大集群中跨機器可靠地存儲超大文件. 他將每一個文件存儲成一系列的數據塊.
?(1)數據的復制- 文件的所有的數據塊都有副本,這樣可以提高數據的容錯性.應用程序可以指定某個文件的副本數量.HDFS中的文件都是一次性寫入。并且在任何時候只有一個寫入者.NameNode管理數據的復制,采用周期性的從集群中的每一個DataNode中接受心跳信號可塊狀報告。如果接受到心跳報告說明DataNde正常.
- 副本的存放是NDFS可靠性和性能的關鍵
?
?
更多文章、技術交流、商務合作、聯系博主
微信掃碼或搜索:z360901061

微信掃一掃加我為好友
QQ號聯系: 360901061
您的支持是博主寫作最大的動力,如果您喜歡我的文章,感覺我的文章對您有幫助,請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧,狠狠點擊下面給點支持吧,站長非常感激您!手機微信長按不能支付解決辦法:請將微信支付二維碼保存到相冊,切換到微信,然后點擊微信右上角掃一掃功能,選擇支付二維碼完成支付。
【本文對您有幫助就好】元
