混合云論壇作為大會分論壇之一,于8月15日下午舉辦。論壇邀請到了中國信通院、新華三、綠城集團(tuán)、中國電信、長虹集團(tuán)、騰訊等單位的專家,與大家共話混合云的應(yīng)用與發(fā)展。
以下為長虹集團(tuán)軟件與服務(wù)中心數(shù)據(jù)服務(wù)部技術(shù)總監(jiān)蒲文龍:《混合云助力長虹數(shù)字化轉(zhuǎn)型》演講全文:
大家下午好,很高興今天有機(jī)會跟大家分享一下長虹這些年在云這塊所做的一些事情。長虹創(chuàng)始于1958年,公司前身國營長虹機(jī)器廠是我國“一五”期間的156項(xiàng)重點(diǎn)工程之一,是當(dāng)時 國內(nèi)唯一的機(jī)載火控雷達(dá)生產(chǎn)基地。從軍工立業(yè)、彩電興業(yè),到信息電子的多元拓展,已成為集軍工、消費(fèi)電子、核心器件研發(fā)與制造為一體的綜合型跨國企業(yè)集團(tuán),并正向具有全球競爭力的信息家電內(nèi)容與服務(wù)提供商挺進(jìn)。目前長虹有1170.21億的規(guī)模,去年開始了進(jìn)入了數(shù)字化轉(zhuǎn)型戰(zhàn)略階段?;谌鴺?biāo)戰(zhàn)略,提出“研發(fā)、制造、交易”三大智能平臺建設(shè)戰(zhàn)略,并擬定能力外放轉(zhuǎn)型計(jì)劃。長虹的轉(zhuǎn)型也是它組織結(jié)構(gòu)的轉(zhuǎn)型,大家可能不太了解長虹,其實(shí)長虹目前子公司長虹電源是中國最大的航空電源提供商,四川愛聯(lián)是中國最大的無線連接模塊的生產(chǎn)制造商,長虹的佳華是中國最大數(shù)據(jù)存儲方案提供商,華意壓縮全球產(chǎn)銷量第一的制冷壓縮機(jī),壓縮機(jī)的技術(shù)也是全球領(lǐng)先的。同時長虹的技術(shù)體系,還成立了燈塔實(shí)驗(yàn)室和競爭力實(shí)驗(yàn)室,燈塔實(shí)驗(yàn)室就像華為的2012實(shí)驗(yàn)室,對我們而言,是一樣的性質(zhì)。長虹的轉(zhuǎn)型主要圍繞三個坐標(biāo):第一,商業(yè)的變革。第二,產(chǎn)品的變革。第三,技術(shù)的變革。今天重點(diǎn)分享下技術(shù)這塊的變革,大家可以看到從云平臺、大數(shù)據(jù),然后再到最終能力外放的一個方向。
首先給大家看幾個案例,2013年開始轉(zhuǎn)型之后做的一些案例。戰(zhàn)略地圖,原來長虹在全國各地有幾十家銷售分公司,上千家經(jīng)營部。原來要看一份報(bào)表數(shù)據(jù)的時候,其實(shí)它整個從統(tǒng)計(jì),到逐層的上報(bào)需要一個月左右的時間,后來統(tǒng)一上了IT系統(tǒng)之后,將數(shù)據(jù)實(shí)時傳到云端,進(jìn)行實(shí)時的數(shù)據(jù)的統(tǒng)計(jì)分析,拿到數(shù)據(jù)報(bào)告,基本上就是當(dāng)天之內(nèi)就能保證拿到整個數(shù)據(jù)這塊的報(bào)告。管理者能及時響應(yīng)做出決策、降低決策風(fēng)險(xiǎn)。通過地圖獲知各行政區(qū)域銷售情況,通過顏色深淺直觀感受到銷售好壞,通過時間軸可以看到公司歷史銷售情況,同時可直觀看到渠道組織分布,銷售任務(wù)信息,銷售完成率等相關(guān)信息,隨時隨地了解各渠道組織銷售完成情況,為經(jīng)營決策提供可視化展現(xiàn),從而更加快速響應(yīng)業(yè)務(wù)變化。
這個案例是2014年10月的時候?qū)?萬5前多個端子信號源的使用情況的跟蹤,得出的結(jié)果HDMI我們終端鋪設(shè)了3路,而三路都插滿的情況基本沒有,再來看看YPBPR分子端口,基本只有發(fā)燒友會使用這個,他的使用占比也很少,可以取掉。而VGA一般是用于連接接電腦,很少人回家后還和家人分享一份商務(wù)的PPT,這塊可以取掉??偟膩碚f取掉的端子信號源,每年為公司節(jié)約幾百萬元直接的硬件成本,同時還提升了整個機(jī)型設(shè)計(jì)可用的空間。
個性化推薦,從我們的數(shù)據(jù)分析來看,目前整個電視這個大屏它的數(shù)據(jù)的流量的來源來自于個性化推薦的要占到40%以上。通過遙控器去點(diǎn)了之后,搜索到特定節(jié)目的情況只占5%不到,剩下其他是我們語音呼出這樣的場景。而個性化推薦這塊先后分了三個階段。第一個階段,那時候技術(shù)也不是很成熟,最早是把數(shù)據(jù)采集做了共性化的推薦,就是給用戶反饋大家都在看什么,計(jì)算能力強(qiáng)大后,進(jìn)入了基于家庭的推薦。用電視機(jī)大多數(shù)是一個家庭,所以沒法區(qū)分到具體是某一個用戶在用,這里做的推薦更多是電視終端的推薦。去年做了一個事情,就是通過深度學(xué)習(xí)去預(yù)測哪個時間段是家庭某一個成員他在看電視,做到千人千面的個性化推薦。
長虹也打造了自己的長虹大腦。其實(shí)就是語義分析和應(yīng)用。目前做到多輪的對話,有40多個領(lǐng)域的技能,服務(wù)了千萬級別的終端客戶。
總的來說,長虹在云端這塊能力的要求是亞秒級的響應(yīng),萬億集的數(shù)據(jù)集。而長虹傳統(tǒng)的開發(fā)模式是項(xiàng)目制,就是一年上線一個項(xiàng)目或一個產(chǎn)品。所以,在整個用戶爆發(fā)式增長的場景下求軟服中心帶來的挑戰(zhàn)就是如何快速的迭代,如何快速的擴(kuò)展、如何做到高可用。
挑戰(zhàn)就有變革,原來的形式不行了。所以,從三個方面進(jìn)行變革。第一,技術(shù)的革新:我們緊追新技術(shù),包括最近微服務(wù)、容器等。第二,新的組織架構(gòu):也用產(chǎn)品線的方式做事情。第三,在企業(yè)的文化:推崇DevOps的文化。我們在實(shí)踐過程中探索出基于基礎(chǔ)云平臺加速技術(shù)革新、devops文化落地到企業(yè)軟件開發(fā)。
在上云的過程中有很多的挑戰(zhàn)。原來IT采購方式,上一批機(jī)器就是兩個月的時間,同時資源的利用率有的高、有的低,就琢磨著上云,而那時候要選擇上云,各種云也特別多大大小小十幾家云,我們用過的云很多阿里云、AWS、UCloud等等,基本上主流的云廠商我們都有用過。
公有云用的多后,發(fā)現(xiàn)最大的問題就是跨云之間怎么樣去遷移,遷移一次,大的業(yè)務(wù)系統(tǒng)基本上得準(zhǔn)備一個月,然后遷移一周,還得并行跑兩三個月,然后整個任務(wù)才能完成,前前后后需要3、4個月。所以說,如何找一套好的方案來解決我們IaaS層遷移的問題。有幸的是,從2016年開始接觸ZStack發(fā)現(xiàn)它解決了我們的問題,原來五六個人做的機(jī)房運(yùn)維的事情,基本上一個人就可以搞定,整個私有混合云管理平臺這塊也做起來了,也不用裝OpenStack那么麻煩。總結(jié)而言,一個核心就是如何降低TCO?;旌显频囊笞钪饕袃蓚€方面,一個就是管理平臺的打通,如何通過同一個平面將這種非標(biāo)準(zhǔn)的標(biāo)準(zhǔn)化,形成公司的一種標(biāo)準(zhǔn)。還有數(shù)據(jù)層面的一個打通,數(shù)據(jù)層面其實(shí)就是網(wǎng)絡(luò)層面的打通,我們基本上也是通過專線的方式去打通。
Iaas我們通過Zstack解決了 ,PaaS層面的混合云管理,我們自己基于Docker開發(fā)了混合云Paas的管理的解決方案,叫Matrix Cloud。Matrix Cloud全面擁抱CloudNative技術(shù),形成研發(fā)、運(yùn)維、測試三個方面統(tǒng)一的基礎(chǔ)云平臺。Matrix Cloud速度上解決了一天多次部署的問題;在安全上保證了整個的可接性,還有應(yīng)用的隔離。擴(kuò)展方面能支持垂直和水平的擴(kuò)展。還有優(yōu)先性方面,因?yàn)殡娨暯K端有一個特點(diǎn)就是升級特別麻煩,業(yè)務(wù)的特點(diǎn)要求我們必須盡可能把計(jì)算放到云端。
Matrix Cloud整體的架構(gòu),其實(shí)很簡單,底層是IaaS,就是ZStack私有云+公有云的方式,然后上面提供一些基礎(chǔ)服務(wù),主要是負(fù)載均衡和容器引擎,同時把數(shù)據(jù)庫和存儲抽象出來,因?yàn)橐鋈萜鳎旧洗鎯σ蟠嬖谶h(yuǎn)端保證服務(wù)的無狀態(tài)化。然后DevOps服務(wù)就是我們開發(fā)的服務(wù),包括敏捷的管理,代碼的托管、測試的管理等,測試管理等。
容器平臺我們基于K8s定制,和直接使用k8s 相比、在Matrix容器引擎控制臺、應(yīng)用的管理和部署更加簡易(k8s 上手難、學(xué)習(xí)成本高)、自動生成部署網(wǎng)絡(luò)拓?fù)鋱D、讓架構(gòu)更加清晰、更加方便負(fù)載均衡配置管理、同時可以管理多個IDC的容器集群。
容器PaaS平臺多集群的管理,就是通過統(tǒng)一的Total管理不同IDC的集群,達(dá)到混合云管理的效果。原來運(yùn)維操作可能先起數(shù)據(jù)庫,然后再起一個中間件,最后再起前端,業(yè)務(wù)編排做的事情,就是把整個應(yīng)用統(tǒng)一的編排號,一鍵啟動
高可用:我們把負(fù)載均衡分成內(nèi)外網(wǎng),平時我們使用軟件WAF直接對接我們的內(nèi)網(wǎng)LB,這樣他有一個好處,就是如果我的WAF掛了之后,可以快速的通過DNS解析到外網(wǎng)LB,這樣能保證整個服務(wù)高可用。同時做監(jiān)控的時候也能監(jiān)控內(nèi)外部,快速定位內(nèi)外部的問題。
除此之外,做了日志這塊的管理,其實(shí)在容器整個日志這塊的感覺很重要,如何把你的日志變得可搜索、可應(yīng)用。有很多公有云的是用了ELK的解決方案,但是很多傳統(tǒng)運(yùn)維在用的時候是不習(xí)慣那種方式的,我們這里做了一些定制化的日志歸檔。
微服務(wù)引擎:兼容SpringCloud和servicecomb的微服務(wù)引擎、可視化的控制臺、可視化服務(wù)治理配置、配置文件管理、客戶端負(fù)載均衡策略配置、調(diào)用鏈的分布式追蹤。
微服務(wù)必然會涉及到API網(wǎng)關(guān)。服務(wù)消費(fèi)者(應(yīng)用)通過 API網(wǎng)關(guān)然后轉(zhuǎn)發(fā)到后端服務(wù) ,請求通過API網(wǎng)關(guān)的時候?qū)M(jìn)行了認(rèn)證鑒權(quán)、流量控制(每分鐘請求多少次)、可約定應(yīng)用對密文通信網(wǎng)關(guān)解密后轉(zhuǎn)發(fā)給后端服務(wù)進(jìn)行處理。API網(wǎng)關(guān)開放了自身的管理API便于集成,Matrix Cloud API網(wǎng)關(guān)除了對內(nèi)部微服提供路由轉(zhuǎn)發(fā)、安全認(rèn)證功能外、還可以將內(nèi)部軟件能力服務(wù)能力開放給第三方合作伙伴。
通常的軟件開發(fā)是需求、開發(fā)、測試、運(yùn)維采用了多種IT工具進(jìn)行協(xié)同、用戶需要登錄多套系統(tǒng)進(jìn)行操作、比較繁瑣。matrix devops服務(wù)是根據(jù)軟服中心的研發(fā)流程做的深度定制,通過統(tǒng)一的控制臺頁面打通敏捷管理、開發(fā) 、測試、運(yùn)維4個環(huán)境的協(xié)同。通過在頁面上配置devops流水線完成開發(fā)過程中的單元測試、代碼測試、接口測試 以及測試用例、集成測試環(huán)節(jié)的性能、安全掃描測試、以及最終的部署上線。
然后敏捷管理部分,我們基本上是以兩周為迭代,然后去做持續(xù)集成,持續(xù)的測試,還有持續(xù)的交付。在整個迭代開發(fā)過程中,基本上都是走自動化的流程,必須要有人工測試的地方才會有測試人員去測試,基本上自動化能達(dá)到60%的水平。
整個DevOps的流程,很多都是自動化的流程,從拉代碼到自動構(gòu)建、自動掃描,只有在我們需要進(jìn)行人工測試的時候才會走一個流程審批系統(tǒng),然后去做測試資源的一個分配的申請。然后測試之后,測試人員會打一個Tag,相當(dāng)于項(xiàng)目測試過了,然后整個項(xiàng)目就會進(jìn)入到運(yùn)維那里做應(yīng)用的發(fā)布,運(yùn)維那里發(fā)布也是一鍵就能上云。
舉個典型的應(yīng)用場景,這里我舉的是語義相關(guān)的應(yīng)用場景。其實(shí)終端過來之后,它會到API網(wǎng)關(guān),API網(wǎng)關(guān)之后會到前臺的一個聚合服務(wù)的智能語義服務(wù),智能語義服務(wù)會調(diào)用業(yè)務(wù)中臺的微服務(wù)能力,比如NLP專門做NLP的事情,知識圖譜專門做知識圖譜的事情。中臺會利用后面的存儲和數(shù)據(jù)庫服務(wù),把數(shù)據(jù)組合計(jì)算之后之后返回給聚合的前臺,再返回給API網(wǎng)關(guān),最終返回給終端的應(yīng)用。
DevOps為軟件團(tuán)隊(duì)提供軟件開發(fā)全生命周期的DevOps工具鏈、從敏捷開發(fā)到代碼驅(qū)動的自動化構(gòu)建、自動化測試、自動化部署。
總結(jié)而言, Matrix Cloud帶來的一個效益,成本節(jié)約這塊,因?yàn)橹饕荍ava多一些,總結(jié)了一下,基本上提升了20倍左右。因?yàn)樵瓉硌邪l(fā)在申請和運(yùn)維申請服務(wù)器的時候申請的往往都很大,而且Java應(yīng)用的內(nèi)存是階梯式的增長,這部分通過容器的監(jiān)控,能細(xì)化在應(yīng)用這塊的問題,也能排除一些連接未關(guān)閉等的一些問題。同時也完成了公司在大數(shù)據(jù)、AI領(lǐng)域的多元化支撐。在效率這塊,原來更多靠人,現(xiàn)在更多靠自動化,基本上提升在50%左右的提升,跨云可遷移也不受限于特定廠商
目前我們的應(yīng)用相比前面嘉賓所介紹的應(yīng)用規(guī)模而言還比較少,目前成規(guī)模的應(yīng)用有50多個,自動化部署2000多次,微服務(wù)有100多個,20000+的自動構(gòu)建,5000+ 容器。