當(dāng)前位置:首頁(yè) >  科技 >  IT業(yè)界 >  正文

直擊SIGGRAPH 2019:相芯科技的虛擬形象“夢(mèng)工廠”

 2019-08-02 17:06  來(lái)源: 互聯(lián)網(wǎng)   我來(lái)投稿 撤稿糾錯(cuò)

  域名預(yù)訂/競(jìng)價(jià),好“米”不錯(cuò)過(guò)

2019年7月31日,第46屆國(guó)際計(jì)算機(jī)圖形與交互技術(shù)大會(huì)SIGGRAPH正在美國(guó)洛杉磯如火如荼進(jìn)行中。這是全球規(guī)模最大、影響最廣,同時(shí)也是最權(quán)威的一個(gè)集科學(xué)、藝術(shù)、商業(yè)于一體的CG展示、學(xué)術(shù)研討會(huì)。

從148篇技術(shù)論文、12場(chǎng)主題會(huì)議到185家世界著名企業(yè)現(xiàn)場(chǎng)展示技術(shù),該大會(huì)的每一項(xiàng)成果,都代表著計(jì)算機(jī)圖形學(xué)與交互的最新突破。

戴上NVIDIA的最新的Prescription AR和Foveated AR頭顯,可以透過(guò)眼鏡清晰地看到自己漂浮于現(xiàn)實(shí)世界的光學(xué)投影;躺在麻省理工學(xué)院媒體實(shí)驗(yàn)室的沙發(fā)上,戴上頭顯,就可以得到舒服的放松和體驗(yàn);佩戴臺(tái)北科技大學(xué)的面部VR裝備,還能實(shí)時(shí)感受到冷熱液體在面部的流動(dòng)感……

雖然現(xiàn)場(chǎng)眾多AR、VR設(shè)備已足以抓人眼球,但記者的注意力還是被一個(gè)以3D虛擬形象為主題的展臺(tái)所深深吸引。這個(gè)名為“FaceUnity”(杭州相芯科技有限公司)的展臺(tái)被人群擠得滿滿當(dāng)當(dāng),記者還未走近,就聽(tīng)到了一陣陣的“oh my god”驚呼聲,讓人不由得好奇滿滿,急切地想一睹真容。

到底是什么樣的先進(jìn)技術(shù),具有如此神奇的魅力?帶著這份好奇,記者走進(jìn)了該展臺(tái),并現(xiàn)場(chǎng)采訪了該公司負(fù)責(zé)人。

再造一個(gè)“你”

步入該展臺(tái),最先映入眼簾的就是一臺(tái)塞滿了虛擬形象的電視。而剛剛的驚呼聲,就由此而來(lái)。每個(gè)人只要走近電視,等上3秒,屏幕就能立即生成與你相似且Q萌的3D虛擬形象,且無(wú)論你離開(kāi)多久,只要再次出現(xiàn),它就能立即認(rèn)出“你”,并實(shí)時(shí)顯示出另一個(gè)“你”。

FaceUnity工作人員告訴記者,這是其自主研發(fā)的PTA(Photo-to-Avatar)技術(shù),可以根據(jù)用戶上傳的自拍照片,在云端對(duì)其進(jìn)行分析和重建,從而生成相似且美觀的3D虛擬形象。

該技術(shù)基于深度學(xué)習(xí)算法,融合了肖像神經(jīng)網(wǎng)絡(luò)和風(fēng)格化神經(jīng)網(wǎng)絡(luò)兩個(gè)組件。肖像網(wǎng)絡(luò)負(fù)責(zé)定位和提取人臉的特征信息,包括臉型、五官、皮膚、發(fā)型、胡子、眼鏡等,并通過(guò)和風(fēng)格化網(wǎng)絡(luò)的相互作用,重建具有本人特征的風(fēng)格化虛擬形象;風(fēng)格化網(wǎng)絡(luò)將真人形象進(jìn)行風(fēng)格化定制。

相比市面上的其他產(chǎn)品用素材庫(kù)分析來(lái)匹配生成3D虛擬形象,F(xiàn)aceUnity的技術(shù)是通過(guò)神經(jīng)網(wǎng)絡(luò)來(lái)提取人臉特征,并實(shí)時(shí)生成3D虛擬形象,真正做到了“千人千面”。

從記者的現(xiàn)場(chǎng)體驗(yàn)來(lái)看,無(wú)論人臉怎么運(yùn)動(dòng),或嘟嘴,或張嘴,或大笑,或沮喪,屏幕中的“自己”都能實(shí)時(shí)呈現(xiàn)出一樣的狀態(tài),且沒(méi)有任何遲滯感。同時(shí),在3D虛擬形象生成與互動(dòng)的基礎(chǔ)上,F(xiàn)aceUnity還提供不同維度的“捏臉”服務(wù),換臉型、眼型、嘴型、鼻型不再話下,換發(fā)型、胡子、眼睛、帽子、衣服更是選擇多多,兼具科技感與趣味性。

此外,該產(chǎn)品還自帶AR濾鏡,并支持單人合影、多人合影和動(dòng)畫(huà)場(chǎng)景,眼看著屏幕中的“自己”一會(huì)置身山水間熱情舞蹈,一會(huì)又跑到集裝箱前蹦蹦跳跳,記者差點(diǎn)笑到臉僵。

在SIGGRAPH現(xiàn)場(chǎng)親眼見(jiàn)證一鍵生成3D虛擬形象的高科技,讓人不由得地感嘆:3D虛擬世界真的要來(lái)了!

和“虛擬形象”對(duì)話

當(dāng)記者還沉浸在“虛擬形象”的互動(dòng)體驗(yàn)中時(shí),旁邊的“Alice”早已與一位小哥聊得火熱了。要不是看到屏幕上方有英文引導(dǎo)問(wèn)題,記者還以為是小哥開(kāi)著視頻在與自己的“女朋友”聯(lián)絡(luò)感情呢!

“Alice”是一位長(zhǎng)相甜美、專(zhuān)業(yè)十足的問(wèn)答助手,記者現(xiàn)場(chǎng)與她進(jìn)行了多輪對(duì)話,她都回答得很流暢,且面部與口型都極為吻合,毫無(wú)違和感,就像在與真人對(duì)話一樣。

談及“Alice”的實(shí)現(xiàn)原理,F(xiàn)aceUnity的工作人員立即就滔滔不絕了。這是基于FaceUnity自主研發(fā)的另一項(xiàng)新技術(shù)——STA(Speech-to-Animation)。這一技術(shù)結(jié)合了人工智能與計(jì)算機(jī)圖形學(xué),可以實(shí)時(shí)解算語(yǔ)音對(duì)應(yīng)的發(fā)音口型,并精細(xì)驅(qū)動(dòng)虛擬形象面部表情,實(shí)現(xiàn)動(dòng)畫(huà)的音畫(huà)同步呈現(xiàn)。

有了這一技術(shù),F(xiàn)aceUnity成功打造了一批卡通版和真人版的虛擬主播、虛擬助手、虛擬客服、虛擬偶像等一系列應(yīng)用場(chǎng)景。在現(xiàn)場(chǎng),工作人員拿起一臺(tái)手機(jī),向記者一一介紹起了不同形象的應(yīng)用場(chǎng)景。

比如虛擬主播可以應(yīng)用在傳媒行業(yè),幫助該行業(yè)提高視頻制作效率,告別傳統(tǒng)視頻制作方式,迎來(lái)“只需輸入文本或語(yǔ)音就能實(shí)時(shí)生成播報(bào)視頻”的新時(shí)代。

比如,虛擬客服可以應(yīng)用至醫(yī)療行業(yè),幫助該行業(yè)告別冷冰冰“你打字我回答”的服務(wù)方式,迎來(lái)“虛擬醫(yī)生7x24小時(shí)全天候線上線下專(zhuān)業(yè)咨詢”的全新服務(wù)方式;

比如,虛擬助手可以應(yīng)用至交通行業(yè),幫助該該行業(yè)告別“只問(wèn)其聲不見(jiàn)其人”的車(chē)載系統(tǒng),迎來(lái)“既見(jiàn)其人更知其好”的全新駕乘體驗(yàn)。

……

與“Alice”對(duì)話越久,記者越深刻地覺(jué)得,如果各行各業(yè)都能擁有一批獨(dú)具個(gè)性且專(zhuān)業(yè)十足的“員工”,那么人力成本高漲、缺乏人性化服務(wù)體驗(yàn)、難以滿足不同用戶個(gè)性化需求等行業(yè)“共病”,終有一天將會(huì)消失在歷史的長(zhǎng)河中。

用3D內(nèi)容“造夢(mèng)”

除了讓3D虛擬形象走入各行各業(yè)外,F(xiàn)aceUnity還能用3D技術(shù)創(chuàng)造出什么不一樣的體驗(yàn)?zāi)兀?/p>

看到展臺(tái)左邊的宣傳視頻,記者心中有了底。上一秒美顏,下一秒玩轉(zhuǎn)貼紙,再一回頭,又換上萌萌噠的小黃鴨“腦袋”……這些可不就是當(dāng)下潮爆的人臉特效玩法嗎?

FaceUnity工作人員說(shuō),這些都是基于人臉檢測(cè)與跟蹤技術(shù)的AR特效。表情識(shí)別、背景分割、手勢(shì)識(shí)別、海報(bào)換臉、音樂(lè)濾鏡等,足足有16款之多,分分鐘打破了記者對(duì)人臉特效玩法的認(rèn)知局限。

作為一名天然愛(ài)美又忙得難以收拾自己的女性,記者在體驗(yàn)了各款人臉特效后,最?lèi)?ài)的還是美妝。因?yàn)椋男Ч娴奶匀涣?。只要打開(kāi)手機(jī),切換美妝頁(yè)面,記者就瞬間完成了上妝,柳葉眉、丹鳳眼、雙色眼影、貓眼眼線……要多“性感”就有多性感。

如果不喜歡“性感”妝,還有硬漢、甜美、鄰家、歐美、嫵媚等各款?yuàn)y容可隨意切換,足足有30款之多,這簡(jiǎn)直就是21世紀(jì)人類(lèi)的美妝“神器”!一個(gè)月,每天妝容都不重樣,想想都美好,有沒(méi)有!

記者了解到,目前FaceUnity還在開(kāi)發(fā)新的人臉AR特效,且已著手在開(kāi)發(fā)更多酷炫的各類(lèi)特效玩法。相信未來(lái),以3D內(nèi)容為載體,F(xiàn)aceUnity一定可以創(chuàng)造出更多有趣的玩法、新奇的體驗(yàn),及更美好的3D虛擬世界。

FaceUnity —— 讓創(chuàng)作更簡(jiǎn)單,讓交互更自然

FaceUnity專(zhuān)注于智能圖形技術(shù)的創(chuàng)新與應(yīng)用,為移動(dòng)互聯(lián)網(wǎng)、VR/AR等領(lǐng)域提供3D內(nèi)容生成與互動(dòng)的行業(yè)解決方案,致力于好萊塢特效技術(shù)在消費(fèi)級(jí)應(yīng)用中的普及。

FaceUnity目前擁有增強(qiáng)現(xiàn)實(shí)視頻SDK(AR Video SDK,包括表情識(shí)別/人臉AR濾鏡和道具/視頻美顏/視頻分割/手勢(shì)識(shí)別等)、虛擬化身創(chuàng)建服務(wù)PTA(Photo-to-Avatar,從一張照片生成虛擬形象/自主裝扮虛擬形象/與虛擬形象互動(dòng)等)、語(yǔ)音動(dòng)畫(huà)合成引擎STA(虛擬主播/虛擬客服/虛擬助手等)等多款產(chǎn)品,覆蓋了短視頻、直播、社交、新零售、智能家居、廣告、醫(yī)療、媒體等多個(gè)領(lǐng)域,已服務(wù)400余家客戶。

FaceUnity研發(fā)團(tuán)隊(duì)由業(yè)內(nèi)重量級(jí)科學(xué)家領(lǐng)銜,在3D圖形、計(jì)算機(jī)視覺(jué)、VR/AR領(lǐng)域擁有20余年研發(fā)經(jīng)驗(yàn)。2018年,F(xiàn)aceUnity與浙江大學(xué)合作成立“浙江大學(xué)—相芯科技智能圖形計(jì)算聯(lián)合實(shí)驗(yàn)室”,深耕智能圖形技術(shù)創(chuàng)新,培養(yǎng)高端人才,形成對(duì)產(chǎn)業(yè)發(fā)展的引導(dǎo)力。

申請(qǐng)創(chuàng)業(yè)報(bào)道,分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處,共同探討創(chuàng)業(yè)新機(jī)遇!

相關(guān)標(biāo)簽
vr虛擬現(xiàn)實(shí)
虛擬形象

相關(guān)文章

熱門(mén)排行

信息推薦