科技生活動態:hadoop是什么

導讀跟大家講解下有關hadoop是什么,相信小伙伴們對這個話題應該也很關注吧,現在就為小伙伴們說說hadoop是什么,小編也收集到了有關hadoop是什

跟大家講解下有關hadoop是什么,相信小伙伴們對這個話題應該也很關注吧,現在就為小伙伴們說說hadoop是什么,小編也收集到了有關hadoop是什么的相關資料,希望大家看到了會喜歡。

Hadoop是一個由Apache基金會所開發的分布式系統基礎架構,一個能夠對大量數據進行分布式處理的軟件框架; Hadoop以一種可靠、高效、可伸縮的方式進行數據處理;用戶可以在不了解分布式底層細節的情況下,開發分布式程序。

用戶可以輕松地在Hadoop上開發和運行處理海量數據的應用程序。

Hadoop實現了一個分布式文件系統(Hadoop Distributed File System),簡稱HDFS。HDFS有高容錯性的特點,并且設計用來部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)來訪問應用程序的數據,適合那些有著超大數據集(large data set)的應用程序。HDFS放寬了(relax)POSIX的要求,可以以流的形式訪問(streaming access)文件系統中的數據。

Hadoop的框架最核心的設計就是:HDFS和MapReduce。HDFS為海量的數據提供了存儲,而MapReduce則為海量的數據提供了計算。

Hadoop主要有以下幾個優點:

● 高可靠性。Hadoop按位存儲和處理數據的能力值得人們信賴。

● 高擴展性。Hadoop是在可用的計算機集簇間分配數據并完成計算任務的,這些集簇可以方便地擴展到數以千計的節點中。

● 高效性。Hadoop能夠在節點之間動態地移動數據,并保證各個節點的動態平衡,因此處理速度非常快。

● 高容錯性。Hadoop能夠自動保存數據的多個副本,并且能夠自動將失敗的任務重新分配。

● 低成本。與一體機、商用數據倉庫以及QlikView、Yonghong Z-Suite等數據集市相比,hadoop是開源的,項目的軟件成本因此會大大降低。

Hadoop帶有用Java語言編寫的框架,因此運行在 Linux 生產平臺上是非常理想的。Hadoop 上的應用程序也可以使用其他語言編寫,比如 C++。

以上就是hadoop是什么的詳細內容,更多請關注php中文網其它相關文章!

來源:php中文網

免責聲明:本文由用戶上傳,如有侵權請聯系刪除!