1. 創(chuàng)業(yè)頭條
  2. 前沿領域
  3. 人工智能
  4. 正文

搜狗-清華天工研究院提出ChoreoNet模型:讓數(shù)字人聞聲起舞

 2020-08-22 08:42  來源:A5專欄  我來投稿 撤稿糾錯

  域名預訂/競價,好“米”不錯過

近日,搜狗分身技術團隊聯(lián)合清華大學天工智能計算研究院賈珈老師團隊共同發(fā)表的數(shù)字人技術論文《ChoreoNet:基于舞蹈動作單元的音樂-舞蹈合成框架》被2020國際頂級盛會ACM Multimedia錄用為長文。

(截圖來源:ACM Multimedia官網(wǎng)https://2020.acmmm.org)

ACM Multimedia專注于推進多種媒體的研究與應用,涉及人工智能、計算視覺、數(shù)據(jù)科學、深度學習、人機交互等多個新興領域,是中國計算機學會推薦的多媒體領域唯一A類國際學術會議,被認為是多媒體技術領域奧運級別的盛會。雖然鼓勵來自全球的各類機構分享、交流最新研究成果,但該會議論文接受率很低,只有對日常生活和技術突破具有巨大影響潛力的研究項目才會被通過。

“攻克難關”備受認可

音樂和舞蹈是與人們生活密不可分且高度相關的兩種藝術形式,近年來,“樂舞合成”也是業(yè)內高度關注的領域。不過,早期合成基于相似度檢索進行,合成結果的多樣性有限,而目前通行的方法是利用神經(jīng)網(wǎng)絡模型,將音樂特征映射到人體骨骼關鍵點,但由于人類骨架關鍵點的高度冗余和帶噪特性,逐幀關鍵點預測非常困難,導致合成質量有限,成為困擾業(yè)內人士的一大“難關”。

搜狗分身技術團隊與清華天工研究院賈珈老師團隊在論文中提出了一個極具創(chuàng)造性的解決方案,該方案將人類編舞知識融合到樂舞合成框架中,設計多個舞蹈單元(CAU),并使用CAU序列預測模型,開發(fā)了一個像人類一樣根據(jù)音樂編排舞蹈動作的舞蹈合成框架——ChoreoNet。通過實驗驗證和數(shù)據(jù)對比,相較于基線法,ChoreoNet性能更好,合成動作也更加自然逼真,無論是音樂匹配度、動作自然度還是其他方面,表現(xiàn)都更加優(yōu)秀。

(截圖來源:ChoreoNet論文)

此次,該論文被ACM Multimedia認可并錄取為長文,不僅代表了搜狗AI分身技術在身體動作及姿態(tài)生成方面的突破,也從側面印證了搜狗強大的AI技術實力和能夠實現(xiàn)持續(xù)輸出的創(chuàng)新能力。值得注意的是,搜狗是在業(yè)內率先選擇通過音頻來驅動身體動作作為研究課題的先行者。

“死磕技術”引領方向

在搜狗的AI戰(zhàn)略版圖中,“自然交互+知識計算”是核心方向,技術研究和推動技術向產品的快速轉化均以此為基礎和方向,而搜狗“分身”是其中關鍵和重要一環(huán)。

在2018年發(fā)布全球首個AI合成主播之后,搜狗分身持續(xù)研究并打造更加逼真自然的數(shù)字人能力,在2D/3D數(shù)字人領域構建了音畫同步、逼真的面部表情唇動生成及驅動能力。此外,如何能夠讓數(shù)字人更加自然并且富有表現(xiàn)力也是搜狗分身的重點研究方向,其中身體動作以及姿態(tài)的表達至關重要。搜狗在首代AI合成主播問世后不到3個月的時間,便成功推出與“坐播”截然不同的“站播”合成主播,今年5月推出的3D AI合成主播不止面部細節(jié)經(jīng)得起高清鏡頭考驗,更是實現(xiàn)了自如行走。本次與清華大學天工智能計算研究院的工作選擇了音樂場景,重點研究如何提升身體動作生成及驅動的表現(xiàn)力和自然度,為AI數(shù)字人的技術探索開啟了新方向。

“未來應用”前景廣闊

人工智能是未來科技的風向標,而5G時代的到來又大大加速了這一進程。自2018年搜狗推出全球首個AI合成主播之后,能夠與普通人的生活深度交融并廣泛運用于各行各業(yè)的“AI分身”便深受關注,不少科技企業(yè)躬身入局。

從上文可以看出,搜狗從未停下突破的步伐,從2D到3D、“坐播”到“站播”、從支持單一語種到支持多語種、再到支持互動。目前搜狗分身技術已經(jīng)在司法、傳媒、會展、藝術、金融客服等多個場地落地,為新華社、央視、平安惠普、北京互聯(lián)網(wǎng)法院等打造了多個AI合成主播、AI合成客服、AI虛擬法官等,也創(chuàng)造了雅妮、新小微、新小浩、新小萌等多個經(jīng)典AI數(shù)字人形象。

由音頻驅動的數(shù)字人或數(shù)字舞蹈演員,擁有巨大的想象空間和市場化應用前景。特別是與搜狗現(xiàn)有3D數(shù)字人的技術相結合后,使用場景可以從目前集中的傳媒、金融、法律等領域向影視、娛樂領域進軍,攪動萬億規(guī)模的市場。

AI為人賦能,這是搜狗人工智能的發(fā)展理念,也是搜狗分身技術的愿景。作為一項既能解決行業(yè)痛點,又能為用戶創(chuàng)造價值,既能給社會帶來變革、又能對科技產生影響,同時還能持續(xù)突破和進步的前沿技術,搜狗分身的未來,無疑具備更多的可能性、極大的想象空間。

申請創(chuàng)業(yè)報道,分享創(chuàng)業(yè)好點子。點擊此處,共同探討創(chuàng)業(yè)新機遇!

相關標簽
人工智能
ai技術

相關文章

  • IoT開發(fā)者為王,涂鴉智能硬核“靠邊站”

    IoT盛宴:涂鴉向下,產品向上

    標簽:
    人工智能
  • IPO觀察丨黑芝麻智能遞表港交所,車芯行業(yè)已邁向量產決戰(zhàn)期?

    雖然我國汽車芯片行業(yè)還處在發(fā)展初期,但已經(jīng)迸發(fā)出無限潛力。一方面,智能汽車的發(fā)展不斷帶動需求增長;另一方面,政策引導下,汽車芯片企業(yè)持續(xù)搶占高地。對此,在7月5日-7日舉辦的2023年中國汽車論壇上,中國汽車工業(yè)協(xié)會副秘書長李邵華就做出表示,“中國將成為未來汽車芯片發(fā)展的集聚地”。車規(guī)芯片行業(yè)近日的

    標簽:
    人工智能
  • 匯聚中國AI頂尖力量 云天勵飛參與華為AI大模型聯(lián)合創(chuàng)新

    2023年7月6日,第六屆世界人工智能大會(WAIC2023)在上海開幕,“人工智能大模型”是本屆大會的備受矚目的話題,據(jù)悉,在昇騰AI大模型的創(chuàng)新研發(fā)中,華為聯(lián)手26家行業(yè)領軍企業(yè),組建了一支協(xié)同創(chuàng)新的“AI明星隊”,云天勵飛作為中國人工智能企業(yè)的杰出代表,和互聯(lián)網(wǎng)大廠、運營商、科研院所等優(yōu)秀團隊

    標簽:
    ai技術
  • 用友大易:邁入AI招聘2.0時代,讓人力資源回歸本質

    這幾個月來,以ChatGPT為代表的生成式AI展現(xiàn)出的能力令世界驚嘆。自從2016年AlphaGo戰(zhàn)勝李世石掀起了一波AI浪潮后,AI仿佛已經(jīng)沉寂了很久,ChatGPT的橫空出世就如同一束耀眼的光芒,讓AI這個名詞重回C位。過去在AI1.0時代,主要通過訓練模型來實現(xiàn)圖像識別、聲音識別、語言處理等特

    標簽:
    ai技術
  • 新發(fā)布的PaaS2.0,能否助力涂鴉智能再起飛?

    文:互聯(lián)網(wǎng)江湖作者:志剛2023年的IoT需要一個新故事。6月29日,涂鴉智能在開發(fā)者大會上,發(fā)布了企業(yè)級戰(zhàn)略PaaS2.0,希望通過一個平臺+四大開發(fā)服務,建立起IoT生態(tài)。對于這場發(fā)布會,市場的態(tài)度是積極的。美東時間6月29日收盤,涂鴉智能美股股價上漲5.6%,來到1.87美元/股。近日股價穩(wěn)定

    標簽:
    ai技術
  • “創(chuàng)造市場”與“算法進化”,中美AI競速的岔路口

    “人工智能的商業(yè)模式,是要創(chuàng)造一個市場,而非一個算法”。這是世界AI泰斗MichaelI.Jordan的觀點。而當前的全球AI市場,占據(jù)主導地位的中美雙方,卻也走出了兩條截然不同的技術路徑,前者執(zhí)著于前沿技術的探索,后者則發(fā)力應用優(yōu)化和商業(yè)化落地。南轅北轍的兩個方向,或許已經(jīng)無法直接進行排位先后、優(yōu)

    標簽:
    ai智能
  • 智能體進化發(fā)展了一年,現(xiàn)在的RPA Agent迭代到什么程度了?

    智能體進化發(fā)展了一年,現(xiàn)在的RPAAgent迭代到什么程度了?從實在智能最新發(fā)布的實在Agent7.0,看RPAAgent的迭代升級抓取豆瓣信息、自己制作PPT,這款AIAgent真的實現(xiàn)了流程全自動化AIAgent構建到執(zhí)行全自動化,持續(xù)進化RPAAgent再次降低智能體應用門檻實在智能重磅發(fā)布實

  • 崔大寶:大模型降溫背后的難點、卡點、節(jié)點

    崔大寶|節(jié)點財經(jīng)創(chuàng)始人進入2024年,大模型似乎有熄火之勢:資本市場,與之關聯(lián)的概念炒不動了,英偉達股價動輒暴跌重挫,引發(fā)“泡沫戳破”的擔憂;消費市場,BATH們的推新活動少了,產品更新迭代的速度慢了,民眾的關注度降了……熱鬧的大概只剩下兩場酣仗:自5月15日字節(jié)跳動宣布“以厘計費”,打響國內大模型

    標簽:
    大模型
  • 這一屆“出道”的數(shù)字人,已經(jīng)拿捧上了“鐵飯碗”

    文|智能相對論作者|陳泊丞好消息!你心心念念的事業(yè)單位發(fā)錄取公告了!壞消息!他們沒錄你,錄了個數(shù)字人。圖片來源網(wǎng)絡隨著數(shù)字人技術的突破,越來越多的傳統(tǒng)企業(yè)和機構開始用上了“數(shù)字員工”。甚至很多中國人心心念念的“鐵飯碗”,也被這些數(shù)字人給捧上了。數(shù)字人捧上了“鐵飯碗”簡單翻看一下全國各地事業(yè)單位的“錄

    標簽:
    數(shù)字人
  • 來到IPO關口,地平線離“三分天下”還有多遠?

    黑芝麻智能敲鐘后,港交所門口又有一些智駕芯片企業(yè)引發(fā)關注。據(jù)悉,近日地平線已通過中國證監(jiān)會IPO備案,擬發(fā)行不超過11.5億股境外上市普通股并在香港聯(lián)合交易所上市,預計籌集約5億美元資金。從天眼查可以了解到,該公司成立于2015年,是一家乘用車高級輔助駕駛(ADAS)和高階自動駕駛(AD)解決方案供

  • 機器人大會引領產業(yè)動向,卓翼飛思繪制無人系統(tǒng)教科研新藍圖

    8月21日,萬眾矚目的2024世界機器人大會暨博覽會在北京亦創(chuàng)國際會展中心盛大開幕。這場為期5天,集“展覽”“論壇”“賽事”于一體的機器人盛會,反映了當下機器人領域的繁榮生態(tài)。據(jù)官方統(tǒng)計數(shù)據(jù),今年現(xiàn)場逛展觀眾高達25萬人次,比去年增加25%。機器人行業(yè)有多火?看看2024世界機器人大會火爆程度便可知

  • 卓翼智能:超大載重高烈度環(huán)境特種智能系留無人平臺的應用與未來

    瞄準場景需求,打造國內領先的自主可控、高質量超大載重高烈度環(huán)境特種智能系留無人平臺。卓翼智能亮相HICOOL峰會以科技實力榮摘創(chuàng)業(yè)大賽一等獎這個比賽5年培育出16家“獨角獸”HICOOL2024全球創(chuàng)業(yè)者峰會暨創(chuàng)業(yè)大賽已于8月25日在北京圓滿落下帷幕,大賽共吸引了124個國家和地區(qū)的7406個創(chuàng)業(yè)項

  • 60萬獎金召喚AI創(chuàng)新者,2024無錫國際人工智能創(chuàng)新應用大賽火熱進行中!

    人工智能是新一輪科技革命和產業(yè)變革的重要驅動力量。無錫市作為中國的科技創(chuàng)新中心之一,正通過構建人工智能"算力+算法+數(shù)據(jù)"三要素齊備的產業(yè)生態(tài),為產業(yè)技術創(chuàng)新應用提供強大支撐,通過“AI+”行動推動人工智能與多個產業(yè)交叉融合,實現(xiàn)技術落地和產業(yè)化,加速形成新質生產力,打造具有國際競爭力的產業(yè)創(chuàng)新智造

  • “云+AI”驅動操作系統(tǒng)創(chuàng)新升級,龍蜥堅持可持續(xù)發(fā)展路線

    近日,2024龍蜥操作系統(tǒng)大會(OpenAnolisConference)在北京圓滿召開,此次大會由中國計算機學會開源發(fā)展委員會、中關村科學城委員會、海淀區(qū)委網(wǎng)信辦、中國開源軟件推進聯(lián)盟指導,龍蜥社區(qū)主辦,阿里云、浪潮信息、Intel、中興通訊、Arm、中科方德等24家理事單位共同承辦,主題為“進化