午夜毛片免费看,老师老少妇黄色网站,久久本道综合久久伊人,伊人黄片子

一種數(shù)據(jù)存儲(chǔ)方法及裝置的制造方法

文檔序號:9865143閱讀:400來源:國知局
一種數(shù)據(jù)存儲(chǔ)方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001 ]本申請涉及計(jì)算機(jī)存儲(chǔ)技術(shù)領(lǐng)域,尤其涉及一種數(shù)據(jù)存儲(chǔ)方法及裝置。
【背景技術(shù)】
[0002]分布式文件存儲(chǔ)系統(tǒng)是指將網(wǎng)絡(luò)中大量的存儲(chǔ)設(shè)備通過上層軟件集群調(diào)度起來進(jìn)行協(xié)同工作,對外提供統(tǒng)一的數(shù)據(jù)存儲(chǔ)和訪問功能的一個(gè)系統(tǒng)。分布式文件存儲(chǔ)系統(tǒng)有效地解決了數(shù)據(jù)存儲(chǔ)和管理的難題,能夠?qū)Υ鎯?chǔ)節(jié)點(diǎn)進(jìn)行按需在線擴(kuò)容,對分布在各個(gè)地點(diǎn)的存儲(chǔ)節(jié)點(diǎn)中的數(shù)據(jù)進(jìn)行統(tǒng)一管理。由于數(shù)據(jù)分散在不同的節(jié)點(diǎn),且這些節(jié)點(diǎn)都是比較普通的存儲(chǔ)服務(wù)器,必須考慮它們故障的情況。因此,數(shù)據(jù)的可靠性是分布式文件存儲(chǔ)系統(tǒng)研究的重點(diǎn)問題。
[0003]當(dāng)今社會(huì)是大數(shù)據(jù)的時(shí)代,數(shù)據(jù)量成爆炸式增長,這就對存儲(chǔ)的容量提出了很高的要求。與此同時(shí),數(shù)據(jù)的安全性也不容小覷,需要提供數(shù)據(jù)的冗余和備份。然而,存儲(chǔ)容量和高可靠性是相對的,難以平衡。一方面,高可靠性可以通過增加數(shù)據(jù)的副本數(shù)提高,但是存單位數(shù)據(jù)的冗余數(shù)據(jù)也隨之成倍地增加;另一方面,若想節(jié)約成本,不對數(shù)據(jù)進(jìn)行備份,一旦數(shù)據(jù)的部分存儲(chǔ)設(shè)備故障時(shí),整個(gè)文件將不能訪問,造成數(shù)據(jù)的丟失。
[0004]現(xiàn)有技術(shù)分布式文件系統(tǒng)中,HDFS(Hadoop分布式文件系統(tǒng),Hadoop DistributedFile System)和GFS(谷歌文件系統(tǒng),Google File System),一般把數(shù)據(jù)文件分為若干64MB大小的塊,每個(gè)塊至少有3份相同冗余,且副本盡量分布在不同機(jī)架上來以提高可靠性。該技術(shù)最大的缺點(diǎn)是比較浪費(fèi)空間。因?yàn)榇鎯?chǔ)一份數(shù)據(jù)需要備份2倍的額外存儲(chǔ)空間,從而提高了成本。
[0005]基于編碼技術(shù),一種基于糾刪碼技術(shù)的數(shù)據(jù)存儲(chǔ)方法誕生了。通過把原始數(shù)據(jù)分成N個(gè)原始數(shù)據(jù)塊,然后再計(jì)算出M個(gè)冗余數(shù)據(jù)塊。N+M個(gè)數(shù)據(jù)塊優(yōu)先選擇不同節(jié)點(diǎn)的不同磁盤進(jìn)行存儲(chǔ)。在N+M個(gè)數(shù)據(jù)塊中,任意M個(gè)磁盤故障,原始數(shù)據(jù)可以從任意N個(gè)數(shù)據(jù)塊中恢復(fù)。該技術(shù)大大提升了存儲(chǔ)空間的利用效率。然而,其缺點(diǎn)是系統(tǒng)開銷巨大,讀寫性能下降。
[0006]在既能提供副本和糾刪碼策略的分布式存儲(chǔ)系統(tǒng)中,需要人工手動(dòng)設(shè)置存儲(chǔ)目錄的保護(hù)方式,無法智能切換,常常導(dǎo)致所設(shè)置的存儲(chǔ)目錄無法達(dá)到用戶對于數(shù)據(jù)可靠性的要求或者無法達(dá)到用戶對于存儲(chǔ)讀寫性能的要求。
[0007]現(xiàn)有技術(shù)不足在于:
[0008]在既能提供副本和糾刪碼策略的分布式存儲(chǔ)系統(tǒng)中,需要人工手動(dòng)設(shè)置存儲(chǔ)目錄的保護(hù)方式,可能存在由于人為失誤導(dǎo)致無法滿足數(shù)據(jù)可靠性和讀寫性能的要求。

【發(fā)明內(nèi)容】

[0009]本申請實(shí)施例提出了一種數(shù)據(jù)存儲(chǔ)方法及裝置,以解決現(xiàn)有技術(shù)中在既能提供副本和糾刪碼策略的分布式存儲(chǔ)系統(tǒng)中,需要人工手動(dòng)設(shè)置存儲(chǔ)目錄的保護(hù)方式,可能存在由于人為失誤導(dǎo)致無法滿足數(shù)據(jù)可靠性和讀寫性能的要求的技術(shù)問題。
[0010]本申請實(shí)施例提供了一種數(shù)據(jù)存儲(chǔ)方法,包括如下步驟:
[0011]接收用戶的數(shù)據(jù)寫入請求;所述請求中包括用戶的數(shù)據(jù)存儲(chǔ)需求以及寫入數(shù)據(jù)的大小;所述數(shù)據(jù)存儲(chǔ)需求包括數(shù)據(jù)可靠性參數(shù)和/或讀寫性能參數(shù);
[0012]根據(jù)所述數(shù)據(jù)存儲(chǔ)需求和寫入數(shù)據(jù)的大小標(biāo)記所述數(shù)據(jù);
[0013]根據(jù)所述數(shù)據(jù)的標(biāo)記確定數(shù)據(jù)保護(hù)方式;
[0014]將所述數(shù)據(jù)按照所述數(shù)據(jù)保護(hù)方式存儲(chǔ)至數(shù)據(jù)節(jié)點(diǎn)。
[0015]本申請實(shí)施例提供了一種數(shù)據(jù)存儲(chǔ)裝置,包括:
[0016]接收模塊,用于接收用戶的數(shù)據(jù)寫入請求;所述請求中包括用戶的數(shù)據(jù)存儲(chǔ)需求以及寫入數(shù)據(jù)的大小;所述數(shù)據(jù)存儲(chǔ)需求包括數(shù)據(jù)可靠性參數(shù)和/或讀寫性能參數(shù);
[0017]標(biāo)記模塊,用于根據(jù)所述數(shù)據(jù)存儲(chǔ)需求和寫入數(shù)據(jù)的大小標(biāo)記所述數(shù)據(jù);
[0018]確定模塊,用于根據(jù)所述數(shù)據(jù)的標(biāo)記確定數(shù)據(jù)保護(hù)方式;
[0019]存儲(chǔ)模塊,用于將所述數(shù)據(jù)按照所述數(shù)據(jù)保護(hù)方式存儲(chǔ)至數(shù)據(jù)節(jié)點(diǎn)。
[0020]有益效果如下:
[0021]由于本申請實(shí)施例所提供的數(shù)據(jù)存儲(chǔ)方法及裝置,在接收到用戶的數(shù)據(jù)寫入請求時(shí),客戶端可以根據(jù)業(yè)務(wù)需要增加數(shù)據(jù)標(biāo)簽,從而根據(jù)用戶對數(shù)據(jù)的存儲(chǔ)需求以及寫入數(shù)據(jù)的大小等數(shù)據(jù)標(biāo)簽,決定使用哪種保護(hù)方式,為用戶的不同存儲(chǔ)數(shù)據(jù)特點(diǎn)提供差異化的數(shù)據(jù)保護(hù)方式,在確保滿足數(shù)據(jù)可靠性和讀寫性能要求的前提下,這種自適應(yīng)數(shù)據(jù)存儲(chǔ)方案既可以減輕運(yùn)維的人力成本,又可以降低由人為失誤造成的數(shù)據(jù)風(fēng)險(xiǎn)。
【附圖說明】
[0022]下面將參照附圖描述本申請的具體實(shí)施例,其中:
[0023]圖1示出了現(xiàn)有技術(shù)中數(shù)據(jù)寫入流程示意圖;
[0024]圖2示出了本申請實(shí)施例中數(shù)據(jù)存儲(chǔ)方法實(shí)施的流程示意圖;
[0025]圖3示出了本申請實(shí)施例中數(shù)據(jù)寫入流程示意圖;
[0026]圖4示出了本申請實(shí)施例中數(shù)據(jù)存儲(chǔ)過程的示意圖;
[0027]圖5示出了本申請實(shí)施例中數(shù)據(jù)存儲(chǔ)裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0028]為了使本申請的技術(shù)方案及優(yōu)點(diǎn)更加清楚明白,以下結(jié)合附圖對本申請的示例性實(shí)施例進(jìn)行進(jìn)一步詳細(xì)的說明,顯然,所描述的實(shí)施例僅是本申請的一部分實(shí)施例,而不是所有實(shí)施例的窮舉。并且在不沖突的情況下,本說明中的實(shí)施例及實(shí)施例中的特征可以互相結(jié)合。
[0029]發(fā)明人在發(fā)明過程中注意到:
[0030]圖1中示出了現(xiàn)有技術(shù)中數(shù)據(jù)寫入流程示意圖,如圖所示,傳統(tǒng)的數(shù)據(jù)存儲(chǔ)保護(hù)策略中數(shù)據(jù)寫入流程可以如下所示:
[0031]用戶可以通過應(yīng)用程序發(fā)送數(shù)據(jù)寫入請求;
[0032]客戶端收到上層應(yīng)用的寫入請求后,可以將數(shù)據(jù)塊寫入集群系統(tǒng);
[0033]接口模塊根據(jù)管理員預(yù)先設(shè)置的數(shù)據(jù)存儲(chǔ)保護(hù)策略(如雙副本、糾刪碼等策略),讀取元數(shù)據(jù)以及所要分配的磁盤布局,并計(jì)算出數(shù)據(jù)的存放方式;
[0034]經(jīng)過數(shù)據(jù)一致性檢查和緩存同步之后,最終將數(shù)據(jù)寫入數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)中。
[0035]針對現(xiàn)有技術(shù)的不足,本申請實(shí)施例提出了一種數(shù)據(jù)存儲(chǔ)方法及裝置,下面進(jìn)行說明。
[0036]圖2示出了本申請實(shí)施例中數(shù)據(jù)存儲(chǔ)方法實(shí)施的流程示意圖,如圖所示,所述數(shù)據(jù)存儲(chǔ)方法可以包括如下步驟:
[0037]步驟201、接收用戶的數(shù)據(jù)寫入請求;所述請求中包括用戶的數(shù)據(jù)存儲(chǔ)需求以及寫入數(shù)據(jù)的大小;所述數(shù)據(jù)存儲(chǔ)需求包括數(shù)據(jù)可靠性參數(shù)和/或讀寫性能參數(shù);
[0038]步驟202、根據(jù)所述數(shù)據(jù)存儲(chǔ)需求和寫入數(shù)據(jù)的大小標(biāo)記所述數(shù)據(jù);
[0039]步驟203、根據(jù)所述數(shù)據(jù)的標(biāo)記確定數(shù)據(jù)保護(hù)方式;
[0040]步驟204、將所述數(shù)據(jù)按照所述數(shù)據(jù)保護(hù)方式存儲(chǔ)至數(shù)據(jù)節(jié)點(diǎn)。
[0041]客戶可以通過應(yīng)用程序發(fā)出數(shù)據(jù)寫入請求,客戶端接收到上層應(yīng)用發(fā)送的數(shù)據(jù)寫入請求后,根據(jù)所述數(shù)據(jù)寫入請求中包括的數(shù)據(jù)存儲(chǔ)需求和寫入數(shù)據(jù)的大小標(biāo)記所述數(shù)據(jù),并將標(biāo)記后的數(shù)據(jù)寫入分布式文件系統(tǒng);在從元數(shù)據(jù)節(jié)點(diǎn)讀取元數(shù)據(jù)和分配磁盤布局之后,可以根據(jù)所述數(shù)據(jù)的標(biāo)記自適應(yīng)確定數(shù)據(jù)保護(hù)方式;最終,可以經(jīng)過數(shù)據(jù)一致性檢查、緩存同步等操作后,將所述數(shù)據(jù)按照所確定的數(shù)據(jù)保護(hù)方式進(jìn)行存儲(chǔ)。
[0042]其中,數(shù)據(jù)存儲(chǔ)需求可以包括數(shù)據(jù)可靠性參數(shù)、讀寫性能參數(shù)等。數(shù)據(jù)可靠性參數(shù)可以包括允許故障節(jié)點(diǎn)數(shù)、允許故障磁盤數(shù)等,讀寫性能參數(shù)可以包括讀寫速度。
[0043]本申請實(shí)施例中,客戶端可以對接收數(shù)據(jù)的特點(diǎn)進(jìn)行數(shù)據(jù)貼標(biāo),通過識別數(shù)據(jù)標(biāo)識自動(dòng)選擇存儲(chǔ)保護(hù)方式,采用本申請實(shí)施例所提供的方案,可以根據(jù)用戶差異化的要求自適應(yīng)的提供最優(yōu)的數(shù)據(jù)保護(hù)方式,按照該數(shù)據(jù)保護(hù)方式進(jìn)行存儲(chǔ),從而避免由于人工設(shè)置錯(cuò)誤導(dǎo)致無法滿足可靠性或讀寫性能要求,減少存儲(chǔ)成本
當(dāng)前第1頁1 2 3 
網(wǎng)友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會(huì)獲得點(diǎn)贊!
1