搜索
信網手機版移動繼續看新聞

AI驅動 多形態“數字人”如何推動數字時代變革

2020-04-02 09:27:28
來源:中國網
責任編輯:古德

原標題:AI驅動,多形態“數字人”如何推動數字時代變革?

在2019年數博會上,《連線》雜志創始主編及暢銷書《失控》的作者凱文·凱利發表了以“數字孿生,鏡像世界”為主題的演講,演講中凱文·凱利描繪了對未來20年數字世界的想象:在未來的世界里,真實世界里的每個東西都會有一個芯片,整個世界都將被數字化,一切都將在虛擬數字世界里有一個復制品,像是現實世界的一面鏡子。”

那么,在這樣的數字世界,你也許只需一個數字替身或者虛擬數字人,通過它便能更深入看到和理解這個世界的全貌。

“虛擬數字人”的歷史淵源

虛擬數字人,是存在于數字世界的“人”,通過動作捕捉、三維建模、語音合成等技術高度還原真實人類,再借助AR/MR/VR等終端呈現出來的立體“人”。我們在好萊塢科幻電影中看到的各種外星人,都是數字人技術的應用成果。

其實,“虛擬數字人”概念最早起源于1989年美國國立醫學圖書館發起的“可視人計劃”(Visible Human Project, YHP),2000年韓國開始了可視人研究的5年計劃。當時“數字人”主要用于醫療領域,以VHP數據集為基礎,全世界的科研工作者在圖像處理、三維建模、可視化軟件開發等很多領域取得重大成果。而在國內,2001年,以“中國數字化虛擬人體的科技問題”為主題的香山科學會議第174次學術討論會首次提出了“數字化虛擬人體”的概念,所以“虛擬數字人”其實并不是一個新鮮的概念,隨著5G萬物互聯時代的到來和深度學習和卷積神經網絡(CNN)利用大量的視覺推動基于人工智能(AI)的計算機視覺迅速改進,虛擬數字人在人們的日常生活中有了更實際、廣泛、深度的應用,例如影視動漫、數字營銷、文化旅游、通訊會議、教育教學等領域,并逐漸打破現實世界和虛擬世界的邊界。

“虛擬數字人”的產生是有多方面原因,計算機視覺、深度學習和語義理解

方面的創新;3D成像傳感器和硬件成本的降低;商業模式的轉變和消費升級的趨勢對生產力效率與成本提出了更高要求等,但根本原因還是信息成本的指數級降低,按照摩爾定律,每隔一年半到兩年,信息處理效率翻一倍同時成本減半,這將推動了整個計算機視覺行業的發展,實現史上“虛擬數字人”能夠比人類更好的完成任務。

根據全球調研機構MARKETS AND MARKETS估計,全球容積視頻市場規模將從2020年的14億美元增長到2025年的58億美元,2020年至2025年的復合年均增長率為32.8%,推動這一市場增長的最重要因素是娛樂和AR/VR應用中對 3D內容日益增長的需求,同時隨著 AR/VR HMD等內容交付設備的激增,屆時“虛擬數字人”將在三維視頻市場中發揮重要作用。

AI驅動,多形態“虛擬數字人”花樣百出

目前,超寫實“虛擬數字人”、仿真“虛擬數字人”、卡通“虛擬數字人”等多種形態的“虛擬數字人”花樣百出。從技術角度出發,這些多形態“虛擬數字人”主要應用了動態三維重建、CG結合動作捕捉、仿真人體模型、卡通建模結合語音合成等AI技術。其背后,是機器學習新算法(深度學習)的出現、運算力的提升、數據量的上漲、計算機視覺“基礎設施”的日益精進等,這些都為“虛擬數字人”提供了充分的“養料”。

基于動態三維重建的“虛擬數字人”

基于動態三維重建的超寫實“虛擬數字人”,是根據光影驅動的實時動態重建方法,并引入了動態對象的骨架運動和體態先驗,實現了深度相機的實時人體動態三維重建。這類型“虛擬數字人”突破了人體動態重建需要多相機從不同角度進行聯合采集的前提假設,不僅實現了360度全視點重建人體模型,還可以同時獲得動態人體的體態(胸圍,腰圍等)和三維骨架運動信息。事實上,國外企業Microsoft微軟、4DViews、8i和國內企業疊境數字,在探索基于動態三維重建的“虛擬數字人”應用上投入了數年的專注研究和巨資,他們將其視為未來數字世界發展的關鍵。

4D Views

Raise Virtual to Reality

2017年4月份,4D Views推出了一款免費的應用4DViews: Raise Virtual to Reality,適用于Android和 iOS設備。4D Views通過動態三維捕捉系統,拍攝演員的動作,然后通過軟件為虛擬環境生成逼真的全息圖,然后把虛擬人物放進真實世界,打造接近真實人類的體驗。因為 4DViews捕捉的不止是人的表情或身體模型,而是整個環境,光和陰影都存在,所以稱作 4D。法國 ARTE電視臺制作的紀錄片《羅馬的命運》中用到了 4DViews的系統,里面涉及到古羅馬時代的軍隊,士兵數量龐大。

Microsoft微軟

Mixed Reality Capture Studios

2017年10月,Microsoft微軟開設了舊金山混合現實捕捉工作室及混合現實學院,幫助開發者進一步學習和創作混合現實內容。在微軟混合現實捕捉工作室中,采用了兩種不同類型的攝影機實現360度記錄真人的動作、表演,甚至包括手部細節和面部表情。內容錄制后,客戶能夠在增強現實(AR)、虛擬現實(VR)、以及 2D屏幕環境下,與之進行全息交互。目前,該技術主要是為娛樂創造內容,但教育和培訓也是一個日益龐大的市場。

疊境數字

高精度重建虛擬數字人

2019年8月,疊境數字在世界人工智能大會上推出了實時的動態人物三維重建技術,實現了上百個深度相機進行動態人物的360度實時重建系統。不同于CG結合動作捕捉生成三維模型,該系統提供了雙目視差、移動視差、選擇性聚焦三方面的視覺信息,讓傳統的二維平面圖像提升到了四維光場圖像,再利用AI算法驅動表情動作、基于深度學習的光線追蹤算法等,快速生成一個超高精度的虛擬數字人。該公司表示,實際上早在2016年,就已經開始了動態人物三維重建的研發和應用,而其中最核心的技術是實時渲染算法,通過特殊的光場渲染技術,實現了細微表情、毛孔斑點、服裝材質等細節的超高精度還原。基于這項技術,2020年初疊境與中國移動、中國聯通、芒果TV合作了5G AR明星互動應用。

GoogleRelightables系統

隨著市場對AR三維視頻的需求開始逐漸增長,2019年11月,谷歌在ACM SIGGRAPH亞洲展覽會上展示了一種包含330可編程LED燈泡和約100個攝像頭的球形設施Relightables系統。谷歌Relightables系統可完美還原人物周圍的光影效果,使得合成的影像看起來更加逼真。該系統的核心是不僅能捕捉人身上的反射信息,還能記錄人在 3D環境中自由移動時的信息,因此,該系統能在任意環境中產生高分辨率、照明獨立、可調光源的動態人體3D模型,可用于游戲、電影等應用場景。

基于CG結合動作捕捉的“虛擬數字人”

騰訊數字虛擬人Siren

動作捕捉+實時渲染

2018年5月,騰訊公布了一個名為“Siren”的研究項目,這是由騰訊、Epic Games、Cubic Motion和3Lateral企業合作打造的一個虛擬人物。操作者需要將一套特制的設備戴在頭上,這一設備會實時跟蹤200多個面部特征點,再把這些特征點實時反映到系統構造的3D臉部模型上,最終呈現為以每秒60幀輸出的動作表情。

根據騰訊官方介紹,Siren的所有動作表情都由實時捕捉以及實時渲染形成,其中實時動作捕捉,被分成兩部分。一部分是動作捕捉,一部分是表情捕捉,分別采用了Epic Games公司的虛幻4引擎,Vicon動作捕捉技術和3Lateral的面部實時解算技術。

數字王國虛擬替身DigiDoug

可實時操控的虛擬人

在TED2019上,數字王國通過借助NVIDIA RTX和Epic Games開發的游戲引擎虛擬引擎,實現了表情和動作的實時捕捉,從而打造逼真的虛擬人DigiDoug。DigiDoug是數字王國基于Doug Roble(數字王國軟件研發部門負責人)構建的虛擬形象,它采用了慣性運動捕捉套裝,同時搭配支持輕量單一攝像頭的面部動畫系統。圍繞DigiDoug,數字王國將機器學習融入創作流程中,與此同時,采集了幾千張Doug Roble不同角度和光線條件下的面部圖像,用來獲取盡可能多的數據,隨后運算出所需信息,這些信息讓DigiDoug像真人一樣行動。

基于卡通建模結合語音合成的“虛擬數字人”

超級AI虛擬主播絆愛

2016年底,youtube出現了一個自稱是“超級AI”的虛擬主播,名字叫絆愛 (kizuna ai)。絆愛的角色形象由森倉圓設計,利用MikuMikuDance進行三維模型設計,3D模型由Tda制作。絆愛其實與普通的Youtuber一模一樣,上傳唱歌、脫口秀等視頻,也會直播打游戲與粉絲實時互動,粉絲送愛稱“人工智障”。她的背后是一整支團隊在運作,用演員的動作表情捕捉,以及聲優同步配音塑造出一個鮮活的二次元少女形象。

隨著技術的成熟,現在不少“虛擬主播”已經可以完全映射真人演員:通過完善的肢體動作、面部表情捕捉設備與精致的3D建模進行實時輸出。而AR與全息投影技術則讓觀眾與“虛擬主播”之間的距離更近了一步。

虛擬數字人最終將走向人性化

在科幻電影中,我們經常看到,在不遠的未來,人類和各種形式的“虛擬數字人”

共存,并作為人類出色的幫手。其中,避免不了有人擔憂“虛擬數字人”是否會發展成讓人恐懼的智能生物?在不可預知的環境中傷害人類?2019年3月4日,聯合國教科文組織召開了一次關于制定圍繞人工智能的核心原則的會議,重點討論采用更人性化的人工智能方法,并考慮應該允許機器為社會做出什么樣的決定,包括將什么價值觀和優先權寫入機器的算法。

5G時代,人機共存的序幕才剛剛拉開“虛擬數字人”的出現,而這只是第三產業智能化趨勢的一個縮影,隨著我國產業轉型升級的腳步逐漸加速,將會有各種形態的虛擬數字人出現在各行各業。

無論是哪種形態的“虛擬數字人”,將來一定會在多個場景下大放光彩,并用AI傳遞愛,比如韓國MBC電視臺利用諾亦騰Hi5動作捕捉手套,打造了一場超越生死界限的感人重逢,讓一個失去女兒的母親與女兒重新“見面”,未來“虛擬數字人”將給人類更多的創作空間,進一步解放人類的雙手,讓生活更有AI。(一鳴)

[來源:中國網 編輯:古德]
精彩美圖 更多 >>

分享到

青島話題 更多 >>

深度報道 更多 >>

大家愛看

信網手機版

信網小程序

青島網上辟謠平臺

信法網

Copyright ? 2020 信網. All Rights Reserved 魯ICP備14028146號 新聞采編許可證:37120180021 魯公網安備:37020202000005號
手機版 | 媒體資源 | 信網傳播力 | 關于信網 | 廣告服務 | 人才招聘 | 聯系我們 | 版權聲明| 違法和不良信息舉報
七乐彩复式8个号多少钱