国产精品奶水无码视频免费|激情五月天深爱网|精品国产女主播一区在线观看|国产黄网一区二区

「中國電信」江峰:一種面向數(shù)據(jù)上行的內(nèi)容存儲(chǔ)網(wǎng)絡(luò)(CSN)和 ToB典型應(yīng)用

亞太內(nèi)容分發(fā)大會(huì)暨CDN峰會(huì)一直致力于推動(dòng)CDN產(chǎn)業(yè)深度融合發(fā)展和市場(chǎng)普及,現(xiàn)已成為亞太地區(qū)影響力最大的內(nèi)容分發(fā)網(wǎng)絡(luò)盛會(huì)。十年來,在以阿里云、網(wǎng)宿科技、騰訊云等亞太CDN產(chǎn)業(yè)聯(lián)盟成員孜孜不輟的努力下,CDN產(chǎn)業(yè)已經(jīng)成為基礎(chǔ)性設(shè)施網(wǎng)絡(luò),以堅(jiān)定的基石之姿,支撐起中國成為世界最大的互聯(lián)網(wǎng)市場(chǎng)。

隨著全球數(shù)字化、“一帶一路”戰(zhàn)略的推進(jìn),亞太內(nèi)容分大會(huì)暨CDN峰會(huì)的影響力正在逐漸向全球延伸,同時(shí)也將中國智造CDN及產(chǎn)業(yè)鏈推廣向全球每一個(gè)角落。

「中國電信」江峰:一種面向數(shù)據(jù)上行的內(nèi)容存儲(chǔ)網(wǎng)絡(luò)(CSN)和 ToB典型應(yīng)用-DVBCN

在6月10日下午舉辦的【對(duì)象存儲(chǔ)論壇】上,中國電信集團(tuán)有限公司云計(jì)算首席專家 江峰帶來了以《一種面向數(shù)據(jù)上行的內(nèi)容存儲(chǔ)網(wǎng)絡(luò)(Content Storage Network)和ToB典型應(yīng)用》為題的主題演講。

「中國電信」江峰:一種面向數(shù)據(jù)上行的內(nèi)容存儲(chǔ)網(wǎng)絡(luò)(CSN)和 ToB典型應(yīng)用-DVBCN

CDN是在終端和中心之間的緩存,在讓終端更快獲取數(shù)據(jù)的同時(shí),減輕中心的壓力,因此,CDN是一種為下而生的網(wǎng)絡(luò)服務(wù)。中國電信集團(tuán)云計(jì)算首席專家江峰表示,對(duì)于日益成熟的CDN而言,如何解決數(shù)據(jù)從四面八方上傳的問題值得我們?nèi)ニ伎肌?/p>

以上述問題為引,江峰闡述了本次演講的重點(diǎn)——內(nèi)容存儲(chǔ)網(wǎng)絡(luò)。一個(gè)應(yīng)用開發(fā)者要存數(shù)據(jù),有多種方案可供選擇,方案之一就是把數(shù)據(jù)存在某一個(gè)資源池,比如放到上海,靠近華東地區(qū)的體驗(yàn)是比較好的,離華東比較遠(yuǎn)的用戶體驗(yàn)就相對(duì)較差,無法讓全國范圍內(nèi)的用戶都獲得好的體驗(yàn),這和CDN初衷是不同的,CDN希望任何地方的用戶都能更快地獲得數(shù)據(jù)。

「中國電信」江峰:一種面向數(shù)據(jù)上行的內(nèi)容存儲(chǔ)網(wǎng)絡(luò)(CSN)和 ToB典型應(yīng)用-DVBCN

方案之二是自行調(diào)度,選擇幾個(gè)資源池分布在全國范圍內(nèi),東北地區(qū)放在長春,華北放在北京等。這種情況下,作為應(yīng)用開發(fā)者,當(dāng)終端發(fā)起請(qǐng)求時(shí)首先要找到平臺(tái),平臺(tái)根據(jù)發(fā)起請(qǐng)求的位置,再將離終端最近的資源池返回給終端,最后終端才開始訪問資源池,如此一來,終端和平臺(tái)之間增加了延遲。同時(shí)要自己維護(hù)這種關(guān)系,當(dāng)數(shù)據(jù)量很大的時(shí)候,維護(hù)的成本和難度是很高的。這對(duì)于研發(fā)能力很強(qiáng)的互聯(lián)網(wǎng)公司來說不是問題,但如果是只關(guān)心業(yè)務(wù)驅(qū)動(dòng)、市場(chǎng)驅(qū)動(dòng)的公司,關(guān)心增收和用戶量,這些問題解決起來就很復(fù)雜,對(duì)于研發(fā)能力不強(qiáng)的用戶,需要一個(gè)能就近寫入數(shù)據(jù)的解決方案。

提到“就近”這個(gè)詞就容易聯(lián)想到內(nèi)容分發(fā)網(wǎng)絡(luò),中國電信天翼云的存儲(chǔ)研發(fā)團(tuán)隊(duì)提出了一個(gè)新的概念叫做“內(nèi)容存儲(chǔ)網(wǎng)絡(luò)”(Content Storage Network,簡稱CSN),用戶就近寫入的數(shù)據(jù),可以即時(shí)在任何一個(gè)CSN的資源池讀到數(shù)據(jù),這就是CSN內(nèi)容存儲(chǔ)網(wǎng)絡(luò)和其他的云存儲(chǔ)的不同之處。

江峰介紹說,從2012年開始,中國電信天翼云就致力于云存儲(chǔ)的自主研發(fā)工作,從底層的文件系統(tǒng)、分布式存儲(chǔ)引擎,到上層協(xié)議,負(fù)載調(diào)度、管理監(jiān)控平臺(tái),已經(jīng)全部實(shí)現(xiàn)自主研發(fā)。其中最引以為傲的是中國電信已經(jīng)實(shí)現(xiàn)了CSN存儲(chǔ)網(wǎng)絡(luò),多個(gè)資源池可以寫同一個(gè)對(duì)象,并且保證強(qiáng)一致性和低延遲。2015年,中國電信天翼云成為國內(nèi)首個(gè)基于自研文件系統(tǒng)大規(guī)模商用SMR盤的云存儲(chǔ)服務(wù)提供商,目前單容器實(shí)存容量超過EB。

2015年華為在上海舉辦的云計(jì)算大會(huì)上,江峰曾表示:網(wǎng)絡(luò)就是存儲(chǔ),未來的應(yīng)用大部分都是互聯(lián)網(wǎng)應(yīng)用,中國電信應(yīng)該結(jié)合自身優(yōu)勢(shì)打造差異化產(chǎn)品及服務(wù),把資源池連成一張網(wǎng)絡(luò),當(dāng)時(shí)稱其為“國家存儲(chǔ)網(wǎng)絡(luò)”。用戶不需要關(guān)心數(shù)據(jù)寫到哪里,只要在資源池中存入,在任何地方都能就近讀出來,這就是當(dāng)時(shí)江峰提出的概念,如今已經(jīng)實(shí)現(xiàn)了。

「中國電信」江峰:一種面向數(shù)據(jù)上行的內(nèi)容存儲(chǔ)網(wǎng)絡(luò)(CSN)和 ToB典型應(yīng)用-DVBCN

江峰對(duì)CSN中的關(guān)鍵技術(shù)進(jìn)行了介紹,從上述圖示可以看到,從北京和呼和浩特所在的“環(huán)”,這個(gè)環(huán)是元數(shù)據(jù)環(huán),如果元數(shù)據(jù)是集中式的,用戶訪問北京,北京還需要將請(qǐng)求發(fā)送至上海,再由上海告知數(shù)據(jù)就在北京本地。

中國電信自研了分布在廣域網(wǎng)上的分布式元數(shù)據(jù)環(huán)服務(wù),邏輯上單一的一張表在物理上分布存在于不同的機(jī)房,從而可以就近提供訪問服務(wù)。至于元數(shù)據(jù)的元數(shù)據(jù)放在哪里,江峰解釋說,元數(shù)據(jù)的元數(shù)據(jù)是最為核心的數(shù)據(jù),目前存放在跨三個(gè)省的七個(gè)機(jī)內(nèi)。以上便是實(shí)現(xiàn)CSN特性的基礎(chǔ),使所有的讀寫請(qǐng)求都會(huì)就近訪問離用戶最近的機(jī)房,數(shù)據(jù)在本地直接返還給用戶,或者通過專網(wǎng)從其他地方拉過來給用戶,比走互聯(lián)網(wǎng)要快,因此可以獲得最好的延遲,這就是中國電信打造的一張存儲(chǔ)網(wǎng)絡(luò)。

「中國電信」江峰:一種面向數(shù)據(jù)上行的內(nèi)容存儲(chǔ)網(wǎng)絡(luò)(CSN)和 ToB典型應(yīng)用-DVBCN

產(chǎn)品層面中國電信也有創(chuàng)新,左側(cè)圖是選擇就近寫入或指定位置寫入,如果選擇就近寫入終端就會(huì)選擇就近,對(duì)于使用者而言不需要知道它在哪里;有的政企類客戶有強(qiáng)烈的屬地要求,采用指定位置可以滿足。右側(cè)圖是虛擬存儲(chǔ)網(wǎng)絡(luò)概念,借鑒了網(wǎng)絡(luò)當(dāng)中LAN和vLAN概念,江峰提出了物理資源池和虛擬資源池的概念。客戶如果需要專屬資源池,從藍(lán)色或紅色中選取,黑色部分為公用資源,將虛擬資源池在數(shù)據(jù)層面打通形成一張?zhí)摂M網(wǎng)絡(luò),中國電信也做到了在產(chǎn)品層面的創(chuàng)新。

內(nèi)容存儲(chǔ)網(wǎng)絡(luò)有三大好處。對(duì)于普通用戶而言,最大的好處就是能就近讀寫、池間互通,實(shí)現(xiàn)顯著的低延遲,讀的時(shí)候能很大概率從本地讀,如果不能就從專線讀取。對(duì)于開發(fā)者而言,不再需要關(guān)心數(shù)據(jù)的位置。對(duì)于云運(yùn)營商而言,能夠優(yōu)化資源、節(jié)約成本,如果是冷數(shù)據(jù),可以放在運(yùn)營成本較低的資源池,如果是熱數(shù)據(jù),就選擇北京、上海、廣東這類熱資源池。

隨后,江峰對(duì)CSN存儲(chǔ)網(wǎng)絡(luò)進(jìn)行了演示,核心內(nèi)容是同一個(gè)IP的三個(gè)不同的資源池,A資源池寫入的數(shù)據(jù)在B、C兩個(gè)資源池得到是立即更新的結(jié)果。通過這樣的產(chǎn)品和技術(shù),中國電信為國內(nèi)外眾多類型業(yè)務(wù)客戶提供著海量云存儲(chǔ)服務(wù)。

介紹完為數(shù)據(jù)上行而生的內(nèi)容存儲(chǔ)網(wǎng)絡(luò)CSN,江峰進(jìn)一步分享了基于CSN的ToB應(yīng)用-存儲(chǔ)網(wǎng)關(guān)。一般的企業(yè)用戶自行寫代碼能力不強(qiáng),面向S3開放應(yīng)用,IT系統(tǒng)基本上都是從合作伙伴獲取的,此類企業(yè)用戶一般IT人員不多,且需要維護(hù)很多套IT系統(tǒng)。因此,對(duì)于這些企業(yè)用戶來說,需求主要體現(xiàn)為:
一是要把這些數(shù)據(jù)上云,需要用到塊存儲(chǔ),因此塊是底層的基礎(chǔ);

二是要做冷熱分離,所有的數(shù)據(jù)都上云之后,做成塊遵循熱數(shù)據(jù)在本地、全量數(shù)據(jù)在云端的方式;

三是高可用,為企業(yè)提供的塊存儲(chǔ)必須是高可用的,否則會(huì)對(duì)在生產(chǎn)環(huán)境中使用的可靠性產(chǎn)生擔(dān)憂。

企業(yè)要想得到高可用能夠冷熱分離的塊存儲(chǔ)服務(wù),這正是中國電信研發(fā)了4年多的天翼云存儲(chǔ)網(wǎng)關(guān)所能滿足的,它的特性主要有以下幾點(diǎn):
小巧。軟件的安裝包只有140兆不到,從安裝包解壓到集群初始化完成,不超過3分鐘,這是目前世界上唯一以一個(gè)zip安裝包形式交付的存儲(chǔ)底座的產(chǎn)品。

擴(kuò)展性。像普通的分布式存儲(chǔ)一樣,天翼云存儲(chǔ)網(wǎng)關(guān)支持磁盤、服務(wù)器級(jí)別的橫向擴(kuò)展,滿足存儲(chǔ)網(wǎng)關(guān)的本地集群從1臺(tái)擴(kuò)展到n臺(tái)的需求。

數(shù)據(jù)自動(dòng)上云。存儲(chǔ)網(wǎng)關(guān)提供兩種模式,第一種是緩存模式,本地只需要1T的硬盤空間,就可以提供100T的虛擬容量,只要存儲(chǔ)網(wǎng)關(guān)通過網(wǎng)絡(luò)能訪問天翼云對(duì)象存儲(chǔ)OOS(此前提到的CSN就是基于天翼云對(duì)象存儲(chǔ)OOS這個(gè)中國電信完全自主研發(fā)的產(chǎn)品搭建的,以下簡稱OOS),這100T的數(shù)據(jù)都會(huì)被自動(dòng)復(fù)制到OOS中,本地的1T空間存儲(chǔ)僅用于存儲(chǔ)最近讀寫過的熱數(shù)據(jù),這對(duì)于企業(yè)數(shù)據(jù)歸檔非常方便。

第二種模式是存儲(chǔ)模式,即本地和云端是1:1的容量規(guī)模,存儲(chǔ)網(wǎng)關(guān)的本地集群仍然持有全量數(shù)據(jù),同時(shí)會(huì)把所有數(shù)據(jù)自動(dòng)復(fù)制到OOS中,通過這個(gè)方法,企業(yè)可以方便的實(shí)現(xiàn)數(shù)據(jù)異地備份。因此,天翼云存儲(chǔ)網(wǎng)關(guān)是實(shí)現(xiàn)數(shù)據(jù)異地災(zāi)備、數(shù)據(jù)歸檔、數(shù)據(jù)上云、數(shù)據(jù)異地搬家的好幫手。

高性能。對(duì)于使用普通 10G以太網(wǎng)互連和機(jī)械硬盤的集群,隨機(jī)寫入 4KiB 塊的延遲可以低于 0.2毫秒。普通的以太網(wǎng)和機(jī)械盤能做到這個(gè)性能,并且是在保證任何單點(diǎn)故障都不丟數(shù)據(jù)、會(huì)話不中斷的情況下做到這個(gè)性能,已經(jīng)是非常優(yōu)秀的了。

高可靠性。支持糾刪碼和多副本兩種數(shù)據(jù)冗余保護(hù)機(jī)制以及多重?cái)?shù)據(jù)校驗(yàn)和一致性檢查。要知道,塊存儲(chǔ)能支持糾刪碼的并不多。

兼容性強(qiáng)。140MB的安裝包里面包含了中國電信天翼云純自研的(非基于任何開源)iSCSI協(xié)議棧、高可用存儲(chǔ)引擎、管理平臺(tái)等等全部模塊,且全部運(yùn)行于用戶態(tài),不依賴于任何Linux內(nèi)核,支持主流國產(chǎn)處理器,不挑服務(wù)器的配置,2G內(nèi)存即可安裝,不要求所有的硬盤一樣大,不要求每一個(gè)硬盤獨(dú)占,只用一部分就可以,甚至可以用舊的服務(wù)器運(yùn)行高可用可擴(kuò)展低延遲高性能的存儲(chǔ)網(wǎng)關(guān)。

高可用性?!懊爰?jí)”故障切換速度。自動(dòng)調(diào)整寫入速度并進(jìn)行資源回收。

「中國電信」江峰:一種面向數(shù)據(jù)上行的內(nèi)容存儲(chǔ)網(wǎng)絡(luò)(CSN)和 ToB典型應(yīng)用-DVBCN

其中分布式雙控架構(gòu)(distributed dual-controller architecture)又是中國電信天翼云的一個(gè)創(chuàng)新。垂直擴(kuò)展(Scale-up)的雙控存儲(chǔ)雖然擴(kuò)展性差,但它的延遲很低,企業(yè)應(yīng)用廣泛;分布式存儲(chǔ)容量雖然大,吞吐量也大,但延遲很高,很少運(yùn)行企業(yè)級(jí)應(yīng)用,例如數(shù)據(jù)庫就不可能運(yùn)行在對(duì)象存儲(chǔ)之上。而塊存儲(chǔ)既需要低延遲,彈性又需要橫向擴(kuò)展,因此江峰團(tuán)隊(duì)設(shè)計(jì)和實(shí)現(xiàn)了分布式雙控的架構(gòu)。從宏觀上看,整個(gè)集群可以以服務(wù)器(或磁盤)為單位橫向擴(kuò)展,但從微觀上看,每一個(gè)卷都以兩臺(tái)服務(wù)器作為它的控制器。這樣一來,每個(gè)卷都可以雙路徑的方式提供低延遲和高可用,同時(shí)整個(gè)集群又可以橫向擴(kuò)展。這就是中國電信天翼云獨(dú)創(chuàng)的分布式雙控架構(gòu)與其他開源分布式存儲(chǔ)截然不同的地方,從提出概念到設(shè)計(jì)到最終實(shí)現(xiàn)都是自研的。

「中國電信」江峰:一種面向數(shù)據(jù)上行的內(nèi)容存儲(chǔ)網(wǎng)絡(luò)(CSN)和 ToB典型應(yīng)用-DVBCN

存儲(chǔ)網(wǎng)關(guān)解決的另一個(gè)技術(shù)難題是一致性的保證。上云大家覺得很簡單,不就是把本地的數(shù)據(jù)復(fù)制到云上嗎?其實(shí)不然,文件存儲(chǔ)可以這樣,但是對(duì)于塊存儲(chǔ)則完全不同。塊存儲(chǔ)承載的業(yè)務(wù)很多都是非結(jié)構(gòu)化數(shù)據(jù),簡單的將數(shù)據(jù)從本地復(fù)制到云端會(huì)導(dǎo)致數(shù)據(jù)不一致的情況出現(xiàn)。舉個(gè)例子,即使把一個(gè)卷里面99.99%的數(shù)據(jù)都復(fù)制到云上了,但某個(gè)數(shù)據(jù)庫事務(wù)操作沒有順序落盤,就會(huì)出現(xiàn)不一致的情況。因此,要確保云上的數(shù)據(jù)是一致的,就必須確保云上的數(shù)據(jù)是某個(gè)卷在過去某個(gè)時(shí)刻的快照,而不是簡單的看有百分之多少的數(shù)據(jù)上云了。而中國電信天翼云存儲(chǔ)網(wǎng)關(guān)就可以保證云端的數(shù)據(jù)一定是某個(gè)卷在過去某個(gè)時(shí)刻的快照,能充分保障業(yè)務(wù)數(shù)據(jù)的一致性。

有的朋友問,能不能把數(shù)據(jù)復(fù)制到天翼云以外的其他的云存儲(chǔ)之上?很遺憾,不行。這不是中國電信不夠開放,而是因?yàn)槟壳爸挥蠴OS支持對(duì)象級(jí)的原子操作。不支持原子操作,就無法實(shí)現(xiàn)上述的一致性。

當(dāng)然,市場(chǎng)上也有其他的存儲(chǔ)網(wǎng)關(guān)號(hào)稱支持多家的云存儲(chǔ),那是因?yàn)樗脑獢?shù)據(jù)都存儲(chǔ)在網(wǎng)關(guān)設(shè)備的本地磁盤上。但如果本地的網(wǎng)關(guān)設(shè)備壞了,元數(shù)據(jù)怎么恢復(fù)呢?如果從云上恢復(fù)的話,那怎么保證云上的元數(shù)據(jù)也是一致的(是本地元數(shù)據(jù)在過去某個(gè)時(shí)刻的快照)呢?歸根結(jié)底,云存儲(chǔ)還是要支持原子操作,否則,要么就不能保證一致性,要么就不能容忍網(wǎng)關(guān)的單點(diǎn)故障,而目前只有OOS搭配天翼云存儲(chǔ)網(wǎng)關(guān)可以同時(shí)做到。

相關(guān)文章
中國電信啟動(dòng)插入式微型智能機(jī)頂盒集采:規(guī)模300萬臺(tái)
中國電信啟動(dòng)插入式微型智能機(jī)頂盒集采…
中國電信研究院院長張成良:搶抓AI與6G發(fā)展機(jī)遇,實(shí)現(xiàn)高水平科技自立自強(qiáng)
中國電信研究院院長張成良:搶抓AI與6G…
中國聯(lián)通與中國電信聯(lián)合發(fā)布5G-A共建共享創(chuàng)新成果
中國聯(lián)通與中國電信聯(lián)合發(fā)布5G-A共建共…
原中國電信總經(jīng)理梁寶俊出任中國星網(wǎng)總經(jīng)理
原中國電信總經(jīng)理梁寶俊出任中國星網(wǎng)總…
DeepSeek橫空出世,三大運(yùn)營商自研模型何去何從?
DeepSeek橫空出世,三大運(yùn)營商自研模型…
首家運(yùn)營商應(yīng)急通信公司掛牌
首家運(yùn)營商應(yīng)急通信公司掛牌
我還沒有學(xué)會(huì)寫個(gè)人說明!