網易雲信發佈虛擬形象實時互動融合 SDK ，元宇宙大幕即將開啓
元宇宙,火得猝不及防。
短短幾個月時間,Minecraft、Roblox進入了更多人的視野,GREE、英偉達、微軟等陸續發布相關産品解決方案,韓國、日本還從國家層面宣布大力布局元宇宙賽道。《頭号玩家》描繪的情景似乎明天就能成爲現實。
彭博行業研究報告預計元宇宙将在 2024年達到 8000億美元市場規模,普華永道預計元宇宙市場規模在 2030年将達到 1.5萬億美元。市場潛力無限。
究竟什麽是元宇宙?簡單來說,元宇宙可以理解爲平行于現實世界始終在線的虛拟世界。在這個世界中,除了吃飯、睡覺需要在現實中完成,其餘包括工作、社交、娛樂等都可以在虛拟世界中實現。
神秘、未知,曾經隻可能出現在夢中的幻境或許在不久的将來就能實現,想想就興奮不已。
然而一個不得不承認的現實是:高拟真度的虛拟世界還沒有建成,人們在虛拟世界的形象還沒有立起來,終端還支撐不起那樣的數據計算量,交互體驗還不夠好……一系列問題等着被攻克,元宇宙的大門還沒有打開。
元宇宙兩大核心技術:虛拟人和實時互動
正如前文所述,互聯網的終極目标——元宇宙,可以打破人類社會活動的空間與時間的界限。在一個創造的虛拟空間裏,來自世界各地的人們進行着真實的社會活動,社交、商業、娛樂...而其中“虛拟人”和“實時互動”能力是必不可少的兩大核心技術。
虛拟人代表了個體可辨識度的形象和身份,實時互動能力可以實現沉浸式真實的社交活動,最終模糊虛拟和現實的邊界。
元宇宙中虛拟人是指具有數字化外形的虛拟人物,與具備實體的機器人不同,虛拟人依賴顯示設備存在。一般來說,我們将虛拟人分爲兩類:一類是真人可驅動的虛拟人,另一類是具有人工智能的 AI智能虛拟人。
元宇宙是另一個真實的人類社會活動的無限廣闊空間,所以技術上實現真人可驅動的虛拟人是邁入“新世界”的第一步,當然如《失控玩家》裏具有自我意識的 NPC虛拟人物如果也能在元宇宙中實現,更是讓人無限遐想。
因此元宇宙的虛拟人應具備以下三方面特征:
一是虛拟人外在形象,擁有人的外觀或者卡通等有趣生動的外貌,具有特定的相貌、性别和性格等人物特征;
二是虛拟人表達能力,擁有人的行爲,具有用語言、面部表情和肢體動作表達的能力;
三是虛拟人感知互動能力,擁有人的思想,具有識别外界環境、并能與人交流互動的能力。
外在、表達、感知,這些我們幾乎每個現實人類都擁有的能力,對技術和設備的要求其實很高。
首先,愛美之心人皆有之,現實生活中的我離“盛世美顔”還有那麽一小段距離,也許在新的世界裏,我可以擁有“人生如果再來一次”的機會,傾國傾城走向人生巅峰。但是創建一個“美而好”虛拟形象,并不是一件容易的事情。AI和圖像的技術門檻很高,例如 3D建模,高算力和渲染對設備性能要求等都是是一個業界難題。
其次,擁有了“沉魚落雁、閉月羞花、傾國傾城”的盛世美顔後,光是一個靜态形象,沒有表情、沒有肢體表達,元宇宙的世界瞬間變成“行屍走肉”的世界。這裏涉及到語音交互(TTS、ASR、NLP等)、動畫合成(驅動、渲染)等 AI相關技術,對技術要求的門檻可想而知。
最後,元宇宙映射的是真實人類世界,那麽人類社會活動的基本元素“互動”是構建元宇宙的最關鍵一環,爲了還原真實線下的無違和感的互動體驗,需要低延時、高質量的實時通信服務保障,但是當前複雜多變的公網環境、終端設備等因素對通信傳輸是一大挑戰。
爲了能夠在“新世界”裏“自由翺翔”,虛拟形象要“美好”,表達要“清楚”,溝通互動要“順暢”……需要解決很多問題,但是目前互聯網廣大用戶還是以移動端手機爲主,機型種類等也複雜多樣。因此,不需要外戴設備,又能解決實現虛拟人互動所需強大算力引起的性能問題,同時在複雜網絡環境也能保障實時互動效果的解決方案,是當前最契合實際也是最好切入“元宇宙”的不二之選。
網易雲信,來了!
業界首發虛拟形象實時互動融合 SDK,邁出進入元宇宙的第一步
針對當前面臨的諸多難題,網易雲信聯合網易伏羲實驗室推出業界首個「虛拟形象+RTC」融合 SDK,并且基于該融合 SDK形成網易雲信虛拟形象實時互動解決方案。
該解決方案不僅可以生動還原虛拟人形象,同時結合了網易雲信 WE-CAN(Communications Acceleration Network)實時傳輸能力,可以實現虛拟人實時互動,幫助企業客戶 0門檻也可實現虛拟形象實時互動場景,邁出元宇宙的第一步。
具體來說,網易雲信虛拟形象實時互動解決方案具備六大優勢:
一、形象:高度還原,極緻靈動。
網易雲信虛拟形象實時互動解決方案可以通過攝像頭或上傳的視頻檢測用戶面部表情動作,從而驅動 3D虛拟人物做出相同表情,包括五官表情、頭部姿态、眼球運動、吐舌頭等均能還原追蹤。
部分傳統的做法爲了減少設備性能要求,往往以犧牲用戶體驗作爲代價,例如動畫匹配方式:當用戶進行說話,或者動作行爲後,在預設的“表情、動作數據庫”進行幀動畫的匹配,最後對一系列幀進行匹配播放實現虛拟人的“表達”。但是人類的行爲是多樣化的、随機的,不可能對所有行爲進行預知預設,可想而知會出現所謂的“面癱”或者“僵屍”。而網易雲信虛拟形象實時互動解決方案采用的是“端上實時捕捉、雲上實時驅動”的方案,相比動畫匹配方案,更真實靈動。
二、硬件:無需穿戴設備,手機即可實現。
網易雲信虛拟形象實時互動解決方案支持使用普通單目攝像頭進行遷移,無需其他動捕設備,簡單便捷。隻需普通的移動端設備或者 PC端設備安裝網易雲信 SDK後即可生成并驅動虛拟人,和遠端真人驅動的虛拟人進行實時互動。
三、性能:端-雲協同,千元機也可暢玩。
用戶通過終端設備(移動端或者 PC端)進行音視頻采集後,通過網易雲信的 SDK進行動作模型數據輸出,連同采集到的音視頻數據傳輸到雲端進行虛拟形象重建合成。
通過在雲端進行動捕數據分析建模渲染,網易雲信虛拟形象實時互動解決方案極大的減輕雙端算法性能壓力,降低了用戶入門門檻,讓更多千元機用戶也可以提前體驗虛拟互動的樂趣,感受元宇宙福利。
四、互動:低延時、無卡頓,元宇宙中的“面對面溝通”。
作爲融合通信雲專家,網易雲信的 RTC能力在行業一直處于領先地位。針對元宇宙中必不可少的“實時互動”場景,網易雲信 WE-CAN全球智能路由網絡爲“0距離”溝通保駕護航。
面對複雜多樣的網絡環境、良莠不齊的終端設備,WE-CAN可以穩定提供全球範圍内毫秒級延時的實時互動能力,通過智能路由網絡擇優選擇最佳路線,百毫秒内觸達全球數百個國家和地區,爲 99.9%的通話提供無卡頓的音視頻服務。基于高可靠低延時的網易雲信 WE-CAN全球智能路由網絡,網易雲信虛拟形象實時互動解決方案可以實現虛拟人實時互動,像現實世界面對面對話一樣。
五、便捷:1個 SDK即可實現元宇宙2大核心技術。
面對元宇宙中虛拟形象和實時互動兩大難題,網易雲信的一體化解決方案将虛拟形象和 RTC在技術層面深度結合封裝,客戶再也無需對接多個供應商,隻需一個 SDK就可以構建一個充滿遐想的高體驗的虛拟形象實時互動場景。
網易雲信「虛拟形象+RTC」融合 SDK承擔了音視頻采集/前處理,數據分析、編碼傳輸、解碼渲染等輕量級工作,将複雜的高算力的工作轉移到雲端,借助融合 SDK形成高效的端-雲協同工作模式,提供虛拟形象實時互動一體化能力。跨越高深的技術壁壘,隻需這一個 SDK。
六、場景:金融、電商等多行業适用,降本增效快人一步。
值得一提的是,網易雲信虛拟形象實時互動解決方案不僅能夠應用于元宇宙世界或娛樂社交行業,還可以廣泛應用于各行各業,幫助企業降本增效的同時,也能提升客戶體驗,從而提高用戶留存率,創造營收。
金融行業:虛拟數字人客戶服務,提供 7 x 24小時不打烊的溫暖服務
電商行業:虛拟人直播帶貨+客戶服務,帶來業務營收、客戶體驗雙重提升
小結
盡管進入元宇宙需要解決這樣或那樣的問題,但不可否認,元宇宙場景的實現、元宇宙産業的成熟,隻是時間問題。《頭号玩家》裏的場景可能還得再想象幾年,但虛實融合已是互聯網發展的大趨勢。
一直以來,網易雲信精益求精地打磨技術,站在行業前沿探尋風向,希望能夠幫助行業客戶不錯失每一個機會。現在,歡迎各位朋友和網易雲信一起,邁出進入元宇宙的第一步。
