在2021 GFIC 5G全球家庭互聯(lián)網大會的5G+4K/8K超高清論壇上，上海云視科技股份有限公司產品部副總經理?徐小麗發(fā)表題為《面向超高清的視頻修復與增強》的精彩演講。

 

 

視頻修復與增強的背景

?

發(fā)展趨勢——超高清

 

8K由于其差異化、高端化成為視頻顯示領域產業(yè)升級的下一個重要戰(zhàn)略方向點。8K分辨率的像素總量是4K的4倍。8K使畫面細節(jié)纖毫畢現(xiàn)，呈現(xiàn)更多的顏色層次，帶來極致的畫質體驗。

 

8K技術的普及是未來幾年顯示視頻技術的發(fā)展的目標。隨著網絡寬帶傳輸技術、圖像處理技術和硬件制造技術的共同迅猛發(fā)展和提升，視頻媒體內容的生產和呈現(xiàn)方式發(fā)生新的變革。采、編、播、傳輸、顯示各環(huán)節(jié)的技術，基本具備8K條件。

 

2021年2月1日，中央廣播電視總臺8K超高清電視頻道試驗開播、央視春晚8K電視直播，將加速8K超高清的落地普及。

 

海量珍貴歷史視頻亟需修復增強

 

現(xiàn)存大量的現(xiàn)有的低分辨率的珍貴視頻，例如：中央新聞紀錄電影制片廠保存60萬分鐘極其珍貴的歷史影像資料，包括歷代黨和國家領導人的影像資料、涉及黨和國家重大決策事件的影像資料、各歷史時期重大事件的真實記錄......

 

中央廣播電視總臺音像資料館保存200萬小時標/高清電視節(jié)目和素材，包括87版紅樓夢、86版西游記等央視版經典四大名著，抗戰(zhàn)、長征各類題材經典電視劇，新聞、晚會、賽事、直播、專題片、紀錄片等......

 

此類影像資料或多或少存在畫質問題，在超高清設備上顯示時，畫面問題會被放大，嚴重的影響觀看體驗，因此，有必要對它們進行修復與增強，讓它們以更好的效果呈現(xiàn)。人工智能技術是很好的選擇。

 

運用人工智能技術，支撐珍貴歷史資料的修復與增強

 

《開國大典》于1989年拍攝，獻禮建國40周年。2019年進行4K修復，獻禮建國70周年：1082個鏡頭，24萬幀畫面，6%資料片，修復團隊超過600人，每天修復20小時，耗時4個月。人工智能算法的應用，可以更高效的對老舊影片進行批量修復增強。

 

超高清標準

 

超高清的標準涉及多個方面，首先是分辨率，至少需達到4K，盡量達到8K，其他的指標幀率、色深、色域、動態(tài)范圍、音頻都有比較高的要求。理想情況下，老舊影片修復增強后是需要達到超高清標準的，但是老舊影片中包含的信息太少了，因此修復增強的工作存在很大的挑戰(zhàn)。

 

修復增強技術

 

難點與挑戰(zhàn)

 

老舊影片由于拍攝年代久遠、設備落后、播放保存損傷等原因，導致畫面主觀視覺質量差：畫面模糊不清晰，顏色暗淡，大量噪聲；運動拖尾不流暢，對比度層次感差；噪點、斑塊、劃痕、污跡等畫面損傷。

 

人工智能修復增強技術

 

智能修復，讓畫面變干凈：建立目標檢測網絡，采用深度神經網絡對斑塊進行檢測和定位；基于運動補償原理，采用時域去除法，將當前斑塊所在幀的前后幀對應位置圖像作為參考，補充當前斑塊遮擋的區(qū)域；利用空域修復法，將無法檢測到的細小瑕疵，用空間補差的方式進行消除，并保證時域圖像的連續(xù)性。

 

超分辨率，讓圖像更清晰，通過深度學習網絡進行特征自動學習、非線性映射和上變換重建，把低分辨圖像放大成高分辨率，提升畫面清晰度和細節(jié)信息。

 

視頻插幀，讓動態(tài)更流暢：基于光流的運動估計補償插幀技術，結合對角線補償、清晰度增強，實現(xiàn)2倍或4倍的幀率放大，并消除消除運動抖動/拖尾、。

 

畫質增強，讓畫面更好看：從銳度/清晰度、飽和度/對比度、降噪、灰度級變換（8bit→10bit）、亮度動態(tài)范圍（SDR→HDR）、色域提升（8bit BT.709→10/12bit BT.2020）等方面提升畫面整體質量。

 

徐小麗最后總結到，修復增強技術的應用，讓歷史影像有機會以更好的質量呈現(xiàn)。過程涉及的人工智能算法，可以快速提升8K超高清視頻節(jié)目的產能，加快8K普及的步伐。為用戶呈現(xiàn)更高分辨率、更有吸引力的視頻內容，豐富用戶的視聽體驗。

面向真實世界應用，仍存在一些挑戰(zhàn)。修復增強后的老舊影片即使視頻參數(shù)符合超高清標準，但是相對于真實拍攝的4K/8K影片，畫面質量存在明顯的差距。