騰訊多媒體實驗室:以提升用戶體驗為目的,構建音視頻質量評估體系
近日,首屆Techo開發(fā)者大會在北京召開,在音視頻及通信分論壇上,騰訊多媒體實驗室專家研究員王海強發(fā)表了題為《視頻業(yè)務中的主客觀質量評估》的演講,在當前音視頻發(fā)展風口下,介紹了視頻質量評估的主客觀方法、應用場景,并提出了建立在算法基礎上的主客觀視頻質量評測平臺及其在業(yè)務線中的應用。
本文引用地址:http://www.ljygm.com/article/201911/407003.htmTecho開發(fā)者大會是由騰訊云發(fā)起的面向全球開發(fā)者和技術愛好者的年度盛會,作為一個專注于前沿技術研討的非商業(yè)大會,大會致力于開發(fā)者的能力成長和實踐創(chuàng)新,旨在通過匯聚全球頂尖行業(yè)專家和技術愛好者,搭建一個開放、中立、活躍的技術交流平臺。本屆Techo大會邀請了海內外150位行業(yè)專家圍繞前沿技術發(fā)展進行解讀,聚集了5000名開發(fā)者參與技術交流和探討。
視聽時代,音視頻應用越來越廣泛:直播、短視頻,視頻節(jié)目、音視頻通話……在萬物訴諸音視頻的互聯(lián)網時代,用戶對音視頻質量訴求也愈加強烈。為提高音畫質量,基礎性工程便是建立行業(yè)評估體系,用評測標準對音視頻技術和產品進行“打分”。然而,目前音視頻質量評估領域仍存在門檻成本較高、主觀觀感存在偏差等難題。
王海強在演講中介紹了主客觀質量評估方法,普及了兩者在PGC/UGC業(yè)務中的應用,并針對評估標準這一終極準則問題,介紹了多媒體實驗室的自研算法和解決方案。
據(jù)王海強介紹,目前視頻質量評估方法分為兩大類:客觀質量評估與主觀質量評估。前者計算視頻的質量分數(shù),又根據(jù)是否使用高清視頻做參考、視頻質量是否與失真程度成單調關系等進一步細分;后者依賴人眼觀看并打分,能夠直觀反映觀眾對視頻質量的感受。
目前,視頻質量評測標準并不統(tǒng)一,常規(guī)做法是使用開源模型VMAF來做PGC視頻的質量把控,而對UGC視頻,只能依賴于開發(fā)人員觀看視頻來定位、解決質量問題。王海強認為,視頻質量評估的目標是“致力于評估視頻的人眼感知質量”,即通過通用的、準確的、公平的測試能力與測試方法論,盡可能選擇最可靠的技術方案,以客觀與主觀評測相結合的方式,達到最接近人眼感知的質量效果。
然而,主觀測試極其耗費人力和時間,整體效率較低,把所有質量問題都訴諸于主觀測試是不現(xiàn)實的。與其完全追求主觀測試的完美性,不如以“主觀質量”為目的,通過基于深度學習的客觀音視頻質量評估算法,進行端到端的音視頻質量評估,從而逼近人眼觀看的體驗效果。
對此,王海強介紹了多媒體實驗室的質量評估解決方案:一是結合業(yè)務需求,使用“在線主觀質量評測平臺”,來構建大規(guī)模主觀質量數(shù)據(jù)庫;二是使用所收集的主觀數(shù)據(jù)來訓練基于深度學習的客觀質量評估算法;三是部署訓練好的質量評估算法到業(yè)務線中,閉環(huán)監(jiān)控可能存在的質量問題。從以上三角度出發(fā),音視頻質量評估能夠在兼顧不同業(yè)務、場景的前提下,滿足效率與精度兩大需求。
騰訊多媒體實驗室:以用戶體驗為最終目的
王海強所介紹的“在線主觀質量評測平臺”,便是騰訊多媒體實驗室在音視頻評估領域的落地產品——騰訊多媒體實驗室視頻質量評測平臺。目前,這一平臺不僅能夠完成基于人眼的視頻質量評測,模擬人耳的音頻質量評測,還能夠在音頻的聲學指標、網絡指標及物理環(huán)境下對信號的主觀質量進行全面詳細的評估,適應了不同環(huán)境下的差異化測評場景。
同時,多媒體實驗室開發(fā)了基于深度學習的全參考/無參考質量評估算法。依托主觀測試平臺快速構建大規(guī)模視頻數(shù)據(jù)庫的能力,多媒體實驗室收集了數(shù)百萬次的視頻質量打分,訓練了基于深度學習的全參考和無參考質量評估算法。兩個算法在公開數(shù)據(jù)集上均取得了領先業(yè)界的性能。王海強提到多媒體實驗室會在近期內把算法開源,進一步促進行業(yè)的發(fā)展。
除滿足單個評估需求外,視頻質量評估還將在業(yè)務線中進一步發(fā)揮作用。王海強認為,在業(yè)務線中引入視頻質量評估后,將改變以往被動發(fā)現(xiàn)質量問題、進行人工檢查的狀況,變被動為主動,變人工為智能,利用AI進行預防性質量監(jiān)控,并通過算法迭代不斷實現(xiàn)系統(tǒng)優(yōu)化,同時,評估系統(tǒng)的優(yōu)化又會進一步反哺業(yè)務線的優(yōu)化。
在當前音視迎來發(fā)展風口之時,騰訊多媒體實驗室不僅使非專業(yè)團隊能夠快速、準確的完成評估需求,還通過一系列嘗試,推動了音視頻質量評測標準的討論。近50項提案被下一代視頻編碼標準VVC/H.266采納。此外,在虛擬現(xiàn)實(VR)、點云(PCC)、網絡傳輸協(xié)議 (DASH)、多媒體系統(tǒng)(OMAF、CMAF、NBMP)等相關多媒體標準中也取得了突破性進展,獲得多項標準核心專利,多名團隊成員在多個全球標準組織擔任董事、編輯、領域主席等重要席位。與此同時,多媒體實驗室也大力投入國家自主標準建設,針對國家標準AVS3進行了相關布局,成為國際行業(yè)標準不可忽視的影響者和領導者。
未來,騰訊多媒體實驗室也將投入更多技術與實踐,帶頭制定行業(yè)規(guī)則,不斷提升用戶視聽體驗。
評論