為了推動人物識別在視頻智能分析產(chǎn)業(yè)中的廣泛應(yīng)用,愛奇藝聯(lián)合中國模式識別與計算機(jī)視覺大會(PRCV2018)共同發(fā)起“多模態(tài)視頻人物識別挑戰(zhàn)賽”。近日該賽事公布了最終結(jié)果:InfiniVision&帝國理工學(xué)院iBUG(DeepInsight)團(tuán)隊、百度VAR團(tuán)隊、以及周同科技與北京工業(yè)大學(xué)組成的團(tuán)隊分獲前三名。此次獲獎的三支團(tuán)隊通過不同的算法,提升了人物識別技術(shù)的精準(zhǔn)度。在人臉識別領(lǐng)域具備國際領(lǐng)先水平,曾在MegaFace2018百萬人臉識別領(lǐng)域比賽中獲得第一名的 InfiniVision&帝國理工學(xué)院iBUG(DeepInsight)團(tuán)隊以MAP平均精度均值88.65%的優(yōu)異成績在本次比賽中再次折桂。賽后,愛奇藝在此基礎(chǔ)上成功利用頭部、聲音、人體等多模態(tài)特征融合信息和更少的模型,進(jìn)一步將精準(zhǔn)度提高了0.8%,在視頻人物身份識別技術(shù)上取得了重要突破。此次競賽的頒獎儀式將在11月23日中國模式識別與計算機(jī)視覺大會2018(PRCV2018)上進(jìn)行。
基于人臉、聲紋、姿態(tài)、場景等多模態(tài)特征的人物識別技術(shù)屬于AI領(lǐng)域中前沿的技術(shù)。目前在人臉識別領(lǐng)域最熱門的評測競賽包括LFW與MegaFace,前者側(cè)重于對比兩張人臉照片是否具有相同身份,后者則是以在海量注冊人臉中檢索特定人臉的準(zhǔn)確率為重要指標(biāo)。而此次愛奇藝推出“多模態(tài)視頻人物識別挑戰(zhàn)賽”則是側(cè)重基于人物的聲音、體態(tài)、著裝、行為舉止等多維度進(jìn)行綜合識別,更接近真實場景的需求,難度更大。為此,愛奇藝向全球的參賽團(tuán)隊開放了目前全球最大的明星視頻數(shù)據(jù)集(iQIYI-VID),其中包含5000位明星藝人,以及長達(dá)1000小時、50萬條視頻片段。此舉吸引了包括紐約大學(xué)、瑞典隆德大學(xué)、新加坡國立大學(xué)、東京工業(yè)大學(xué)、百度公司、小米公司、微軟等全球頂尖高校以及行業(yè)領(lǐng)先的公司組成的397支參賽隊伍參與。
此次獲獎的InfiniVision&帝國理工學(xué)院iBUG(DeepInsight)團(tuán)隊利用one-stage人臉及關(guān)鍵點檢測器來進(jìn)行多姿態(tài)人臉檢測和對齊,并且利用ArcFace/Insightface在清洗后的公共數(shù)據(jù)集上進(jìn)行訓(xùn)練, 微調(diào)參數(shù)獲得了多個人臉識別模型,對特征融合后獲得的視頻人臉及場景特征進(jìn)行MLP網(wǎng)絡(luò)的訓(xùn)練,提升了人物識別技術(shù)的精準(zhǔn)度與召回率。百度VAR團(tuán)隊通過對損失函數(shù)、訓(xùn)練流程的改進(jìn),以及結(jié)合一些非監(jiān)督的數(shù)據(jù)清理方式,檢測到低質(zhì)量的人臉(模糊、側(cè)臉),增加了多模態(tài)的信息,利用了視頻中場景、行人等信息,使得最后的檢索結(jié)果有了進(jìn)一步的提升。在提升檢測結(jié)果方面,周同科技與北京工業(yè)大學(xué)組成的團(tuán)隊卻采用了完全不同的方法,他們基于視頻人物人臉特征、人臉質(zhì)量、近景遠(yuǎn)景視頻場景特征,挖掘多模態(tài)信息間的相關(guān)性,構(gòu)建基于規(guī)則分層的多模態(tài)融合算法,有效提升了人物搜索的排名。
AI已經(jīng)成為在線視頻領(lǐng)域的新賽道?;谠谶@個領(lǐng)域的長期積累,愛奇藝已經(jīng)將視頻識別技術(shù)應(yīng)用于實際業(yè)務(wù)中,上線了一系列基于AI技術(shù)的產(chǎn)品,人物識別精準(zhǔn)度的提升將進(jìn)一步優(yōu)化愛奇藝娛樂生態(tài)系統(tǒng)的方方面面:愛創(chuàng)媒資系統(tǒng)、藝匯智能選角系統(tǒng)等已經(jīng)應(yīng)用于自制內(nèi)容的制作,將會進(jìn)一步優(yōu)化娛樂生態(tài)系統(tǒng)的效率; 基于智能人物識別的“只看TA”、以圖搜劇等功能可更精確地捕捉視頻畫面,為用戶帶來更為個性化的觀看體驗; 智能化廣告點位選取,更在保證用戶體驗的基礎(chǔ)上,最大化廣告主的收益,進(jìn)而增強(qiáng)愛奇藝的貨幣化能力。
舉辦AI競賽是愛奇藝推動行業(yè)技術(shù)進(jìn)步的重要舉措。愛奇藝旨在不斷通過產(chǎn)學(xué)研合作,不斷探索前沿技術(shù),實現(xiàn)前沿技術(shù)的落地與應(yīng)用,不斷為用戶帶來極致體驗、優(yōu)化娛樂生態(tài)系統(tǒng)效率以及增強(qiáng)愛奇藝的貨幣化能力。愛奇藝近期發(fā)布的2018年Q3財報顯示,本季度愛奇藝研發(fā)費用為人民幣5.584億元(約合8130萬美元),較2017年同期增加63%,目前,各項尖端技術(shù)正在應(yīng)用于更好地提升用戶體驗和制作、分發(fā)內(nèi)容。未來,愛奇藝將不斷通過前沿技術(shù)推進(jìn)娛樂行業(yè)的智能化進(jìn)程。