大數(shù)據(jù)時代已經(jīng)來臨并和我們的生活密不可分。
隨著移動互聯(lián)網(wǎng)的充分普及,以及近年來物聯(lián)網(wǎng)出現(xiàn)和快速發(fā)展,今天數(shù)據(jù)的主要來源已經(jīng)不僅僅是人機會話了,而是通過設備、服務器、應用自動產(chǎn)生的,機器產(chǎn)生的數(shù)據(jù)(物聯(lián)網(wǎng))正在呈幾何級增長,比如基因數(shù)據(jù)、各種用戶行為數(shù)據(jù)、定位數(shù)據(jù)、圖片、視頻、氣象、地震、醫(yī)療等等。據(jù)早前Gartner預測,到2020年全球?qū)⒂写蠹s200億臺物聯(lián)網(wǎng)設備,數(shù)據(jù)量將達到35ZB。
同時,和傳統(tǒng)數(shù)據(jù)不同,這些數(shù)據(jù)是以非結構化、半結構化為主,對數(shù)據(jù)存儲帶來了全新的挑戰(zhàn)。
由此,近年來分布式存儲系統(tǒng)在這種以業(yè)務數(shù)據(jù)為核心應用的領域得到了飛速發(fā)展與應用。
分布式存儲方案
分布式文件、分布式塊以及分布式對象三種分布式存儲系統(tǒng)的使用形態(tài),用來滿足業(yè)務系統(tǒng)對于海量數(shù)據(jù)的存取方式、合法訪問、容量控制以及運維等方面的需求。
一
分布式文件,是分布存儲系統(tǒng)最初提供的應用形式,主要解決海量非結構化文件數(shù)據(jù)的并發(fā)存取、權限管理、容量配額管理等問題,在基于NAS協(xié)議的訪問基礎上,利用分布式存儲系統(tǒng)的性能聚合、容量聚合形成的專為海量非結構化數(shù)據(jù)存儲的產(chǎn)品。
因此,它適合文件共享、高并發(fā)存儲性能、海量數(shù)據(jù)存儲、權限分級管理以及存儲容量配額管理等應用需求的場景。如廣電行業(yè)的視頻編輯/媒資管理系統(tǒng)/VOD點播/CDN文件分發(fā)/動漫渲染、石油勘探/衛(wèi)星遙感/基因工程等HPC應用領域。
二
分布式塊的應用得益于云架構IT系統(tǒng)的推動而在近幾年大力的發(fā)展起來,其中最以OpenStack云平臺應用最為廣泛。
其次,安防行業(yè)的平安城市/智慧城市中視頻監(jiān)控應用在延續(xù)了使用塊設備做為存儲介質(zhì)的使用習慣的基礎上,由于規(guī)模的不斷擴大,分布式存儲系統(tǒng)的容量與性能上的優(yōu)勢被逐漸在應用在項目當中。
分布式塊的應用形態(tài),可以提供眾多塊設備的管理,大容量的存儲空間以及性能的線性擴展,彌補了傳統(tǒng)形態(tài)塊存儲設備只能縱向擴展的不足。
三
分布式對象是近年來發(fā)展最快的應用形態(tài)。
隨著眾多行業(yè)應用在生產(chǎn)過程中會產(chǎn)生眾多的海量小文件,而小文件的存儲在分布式文件應用形態(tài)多,由于分布式存儲系統(tǒng)的存儲路徑較長,加上元數(shù)據(jù)處理的技術缺陷,在海量小文件查詢、定位和檢索上性能不能滿足行業(yè)的需求,因此,基于S3對象的分布式對象存儲形態(tài)應運而生。
分布式對象存儲利用扁平的元數(shù)據(jù)和數(shù)據(jù)管理,可以有效解決元數(shù)據(jù)性能的問題,結合分布式存儲系統(tǒng)的并發(fā)訪問的性能特性,以及基本HTTP形式的訪問形態(tài),可以提供眾多的性能加速方案,可以有效的解決海量小文件應用的需求。
分布式之產(chǎn)品選購
柏科數(shù)據(jù)自主研發(fā)的IS Cloud分布式存儲系統(tǒng)產(chǎn)品,同時提供了分布式文件、塊和對象三種數(shù)據(jù)應用形態(tài),并可同時部署提供數(shù)據(jù)服務,有效的滿足了各類業(yè)務對于不同數(shù)據(jù)類型、大小以及IO特性的使用場景。
柏科IS Cloud分布式存儲能夠滿足復雜、多樣的業(yè)務應用場景,并提供相應的存儲高級功能,如數(shù)據(jù)服務HA、多鏈路、多網(wǎng)關、訪問鑒權、配額、WORM、NDMP、快照、精簡配置、零拷貝等。
同時,為滿足國內(nèi)自主可控的需求,IS Cloud分布式存儲系統(tǒng)軟件已適配國產(chǎn)飛騰、申威、海光以及鯤鵬硬件平臺。
下一期,小編為您解析分布式存儲產(chǎn)品如何規(guī)劃布局。