中科深智本月推出虛擬人開(kāi)放平臺(tái)motionverse，并啟動(dòng)DevBoost賦能計(jì)劃（即讓開(kāi)發(fā)者飛速成長(zhǎng)的數(shù)字人中臺(tái)賦能計(jì)劃），受到引擎開(kāi)發(fā)者、動(dòng)畫(huà)從業(yè)者的喜愛(ài)，經(jīng)過(guò)一段時(shí)期的試用，并從開(kāi)發(fā)者處獲得了反饋。
精準(zhǔn)賦能元宇宙AI數(shù)字人
對(duì)于開(kāi)發(fā)者，目前很難找到一款SDK或者API，可以幫助他們一站式完成從語(yǔ)音識(shí)別，到語(yǔ)音合成以及口型生成等這些數(shù)字人必備的功能。
(資料圖)
作為游戲/元宇宙空間的開(kāi)發(fā)者，他們需要一款產(chǎn)品，快速的幫助他們解決數(shù)字人語(yǔ)音合成、口型生成等問(wèn)題。
目前在語(yǔ)音合成領(lǐng)域還能找到比較多的解決方案，但在數(shù)字人驅(qū)動(dòng)領(lǐng)域，單就口型一個(gè)問(wèn)題，就很難找到合適的產(chǎn)品，尤其是適合中文的就更寥寥無(wú)幾，更不要說(shuō)身體的驅(qū)動(dòng)，市面上少之又少。
開(kāi)發(fā)者之前只能通過(guò)拼湊語(yǔ)音合成，找一些面向英文的，準(zhǔn)確度很低的口型插件，再配上極少的和說(shuō)的話術(shù)無(wú)關(guān)的動(dòng)作庫(kù)，來(lái)完成交互數(shù)字人的開(kāi)發(fā)。
開(kāi)發(fā)者加入了中科深智DevBoost賦能計(jì)劃后情況有了很大改觀。首先，一站式解決了數(shù)字人從開(kāi)口說(shuō)話，到動(dòng)作表情生產(chǎn)的問(wèn)題，不但有多種音色選擇，還可以直接生成對(duì)應(yīng)的口型、表情，以及肢體動(dòng)作；其次，口型準(zhǔn)確度高，完全符合中文口型規(guī)律；更為重要的是，我們提供了生成式的肢體動(dòng)作，整體表現(xiàn)自然流暢，和語(yǔ)音配合度非常高。
同時(shí)還有多種動(dòng)作風(fēng)格可以選擇，通過(guò)云端，直達(dá)本地直接使用。motinverse一套組合方案下來(lái)，極大的提升了引擎開(kāi)發(fā)者的開(kāi)發(fā)效率，可以在超短的時(shí)間內(nèi)，完成自己內(nèi)容中交互數(shù)字人的制作。
為絕美的外表輕松賦予精彩動(dòng)作
對(duì)于動(dòng)畫(huà)從業(yè)者，通常使用虛幻UE5引擎，雖然有著很棒的數(shù)字人制作能力，但從業(yè)者本身團(tuán)隊(duì)沒(méi)有過(guò)多的研發(fā)基因，因此，在今年數(shù)字人落地場(chǎng)景井噴的時(shí)代，無(wú)法順利的讓自己的數(shù)字人動(dòng)起來(lái)，擁有交互對(duì)話能力。此時(shí)，一款使用方便，功能強(qiáng)大的虛幻引擎插件，是必不可少的。目前虛幻商店提供的插件，一個(gè)是使用門(mén)檻很高，一個(gè)是服務(wù)器都在海外云端，返回速度極慢，根本無(wú)法滿足實(shí)時(shí)交互的需求。
motionverse的虛幻插件，極大的方便了動(dòng)畫(huà)從業(yè)者。首先，動(dòng)畫(huà)從業(yè)者只需導(dǎo)入插件，通過(guò)簡(jiǎn)單的藍(lán)圖連接，就可以完成數(shù)字人交互功能，讓數(shù)字人輕松擁有聲音、口型和動(dòng)作；其次，整個(gè)推理過(guò)程速度非常快，完成一個(gè)交互時(shí)間在2秒內(nèi)的數(shù)字人應(yīng)用，會(huì)非常方便。讓動(dòng)畫(huà)從業(yè)者，專注于藝術(shù)創(chuàng)作。
讓每個(gè)數(shù)字人擁有智慧大腦
除了提供一站式的語(yǔ)音合成及數(shù)字人口型動(dòng)作的驅(qū)動(dòng)外，motionverse更是結(jié)合自研的姜尚大語(yǔ)言模型，提供強(qiáng)大的專業(yè)垂直數(shù)據(jù)問(wèn)答功能，極大的方便了各行各業(yè)的開(kāi)發(fā)者。一站式打造一個(gè)交互式數(shù)字人，分分鐘即可完成。
在后臺(tái)完成了向量數(shù)據(jù)庫(kù)和大模型的連接。用戶在使用的時(shí)候，只要在后臺(tái)配置好自己的私有垂直數(shù)據(jù)，后臺(tái)會(huì)將數(shù)據(jù)嵌入存儲(chǔ)在向量數(shù)據(jù)庫(kù)中，非常方便的幫助用戶管理私域數(shù)據(jù)。在使用過(guò)程中，用自研的姜尚大模型和向量數(shù)據(jù)自動(dòng)結(jié)合，搜索這些嵌入以找到最相關(guān)的上下文，并將其提供給姜尚大模型，來(lái)完成相關(guān)的推理，最終高效且準(zhǔn)確的完成了專有垂直知識(shí)問(wèn)答功能。
