在居然裝飾與每平每屋·設(shè)計(jì)家“數(shù)字+”產(chǎn)品發(fā)布暨“尋找國(guó)民好設(shè)計(jì)”設(shè)計(jì)挑戰(zhàn)賽(華北區(qū))啟動(dòng)新聞發(fā)布會(huì)上,阿里巴巴每平每屋平臺(tái)業(yè)務(wù)負(fù)責(zé)人、每平每屋設(shè)計(jì)家CEO石梵正式發(fā)布了每平每屋與淘系技術(shù)合作自研的AI視頻建模技術(shù)及其應(yīng)用產(chǎn)品Object Drawer。Object Drawer是業(yè)界首個(gè)基于神經(jīng)渲染的3D建模產(chǎn)品,推理速度相較于nerf算法提升了1萬(wàn)倍。

基于此項(xiàng)技術(shù),消費(fèi)者不需要依賴特定設(shè)備,只需要手機(jī)環(huán)繞目標(biāo)商品進(jìn)行視頻拍攝,就可以完成自動(dòng)重建,所生成的三維建模效果達(dá)到高精模型還原度,還能夠把目標(biāo)商品放到自己家的真實(shí)戶型中進(jìn)行展示。

而這個(gè)家居黑科技從何而來?背后工具支撐有多強(qiáng)大?讓我們一探究竟。

VR/AR賽道崛起 家居家裝3D建模需求暴漲

元宇宙源于1992年尼爾·斯蒂芬森的《雪崩》,這本書描述了一個(gè)平行于現(xiàn)實(shí)世界的虛擬世界,Metaverse,隨著VR/AR應(yīng)用的發(fā)展,在現(xiàn)實(shí)世界家裝家居領(lǐng)域,正在大量地運(yùn)用VR、3D、虛擬現(xiàn)實(shí)等技術(shù),云化的3D拍攝素材庫(kù)、場(chǎng)景庫(kù)已經(jīng)成為商家的數(shù)字化基建的重要環(huán)節(jié),經(jīng)營(yíng)者希望解脫了拍攝策劃、3D創(chuàng)作的困擾,云素材能夠信手拈來,隨時(shí)開拍。另一方面,市場(chǎng)上家居家裝商品3D建模需求持續(xù)增加,家居家裝商品建模需求可能達(dá)到現(xiàn)在的100倍以上。

目前市面上的商品3D建模主要依賴于手工建模,建模時(shí)長(zhǎng)需要幾小時(shí)甚至幾天時(shí)間,費(fèi)用動(dòng)輒數(shù)百到數(shù)千元,不僅對(duì)建模環(huán)境、拍攝設(shè)備提出了諸多要求,為了提升目標(biāo)商品的形狀、紋理、材質(zhì)的展示細(xì)節(jié),還需要大量人工作業(yè)進(jìn)行高精度還原和細(xì)節(jié)修復(fù)。

關(guān)鍵核心技術(shù)突破 推理速度提升10000倍

近幾年,神經(jīng)渲染技術(shù)正在飛速發(fā)展。Google初代的NeRF及其衍生技術(shù)利用神經(jīng)隱式表達(dá)來存儲(chǔ)場(chǎng)景的物理幾何以及材質(zhì)紋理信息,端到端的優(yōu)化渲染效果,但在實(shí)際應(yīng)用中仍存在許多問題,主要包括:第一,推理速度、訓(xùn)練速度慢,1幀高清圖推理時(shí)間超過50秒,一個(gè)物體的建模時(shí)間長(zhǎng)達(dá)2天以上。第二,細(xì)致紋理無(wú)法還原。第三,部分視角渲染效果不理想。第四,無(wú)法直接導(dǎo)入圖形學(xué)工具,不支持顯式使用,例如CAD場(chǎng)景搭配設(shè)計(jì);此外,由于只能還原拍攝場(chǎng)景的光照也使得NeRF模型無(wú)法支持環(huán)境光照變化的場(chǎng)景應(yīng)用。

而每平每屋與淘系技術(shù)共研AI視頻建模技術(shù)及其承載產(chǎn)品Object Drawer通過優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu),探索幾何先驗(yàn),預(yù)存部分信息,在保證渲染質(zhì)量的前提下,其推理速度可以達(dá)到每秒200幀,在手機(jī)上可達(dá)到每秒30幀,從而實(shí)現(xiàn)了實(shí)時(shí)高清可交互的三維模型,且相比NeRF算法推理速度提升了10000倍。模型的訓(xùn)練時(shí)間從2天壓縮到僅需要4小時(shí),模型大小僅需要20M,同時(shí),對(duì)于任意視角查看,商品3D模型都達(dá)到實(shí)拍照片的展示效果,實(shí)現(xiàn)了3D建模一直追求的自動(dòng)高精度還原。Object Drawer不需要依賴特定設(shè)備,只需要手機(jī)環(huán)繞目標(biāo)商品進(jìn)行視頻拍攝,就可以完成AI人工智能的自動(dòng)重建,所生成的3D建模效果達(dá)到高精模型還原度。目前,這項(xiàng)技術(shù)已經(jīng)面向手淘、天貓部分家居家裝商家開放。

攻克復(fù)雜光照遷移、紋理細(xì)節(jié)還原等難題

為了反應(yīng)物理渲染作用于3D粗模型的光照效果,如反射,陰影等,Object Drawer將物理渲染反應(yīng)在物體上的逼真光照效果遷移到神經(jīng)渲染生成的物體視角圖上,通過融合得到具有光照效果的神經(jīng)渲染結(jié)果,進(jìn)一步用得到的帶有光照效果的高清合成圖替代物理渲染結(jié)果中的粗模投影以實(shí)現(xiàn)逼真的場(chǎng)景渲染效果。在實(shí)驗(yàn)數(shù)據(jù)的結(jié)果表明,Object Drawer能夠適應(yīng)各種復(fù)雜光源條件以及細(xì)節(jié)的陰影效果的遷移,視覺效果遠(yuǎn)超其他替代方案。

(Object Drawer建模時(shí)不同光照遷移效果)

在還原紋理細(xì)節(jié)方面,對(duì)于家居家裝商品的模型來說,紋理細(xì)節(jié)還原度非常重要,通常需要達(dá)到照片級(jí)的還原才能支持實(shí)際渲染相關(guān)產(chǎn)品。Object Drawer優(yōu)化了模型表達(dá),在大幅度加速模型訓(xùn)練時(shí)間的同時(shí),第一次做到了高清精細(xì)紋理還原,如布料線條等細(xì)節(jié)都能清晰可見。

(模型與真實(shí)商品紋理細(xì)節(jié)對(duì)比圖)

每平每屋與淘系技術(shù)攜手推出基于AI視頻建模技術(shù)的應(yīng)用產(chǎn)品Object Drawer對(duì)神經(jīng)輻射場(chǎng)技術(shù)進(jìn)行了全面的改進(jìn)和升級(jí),實(shí)現(xiàn)了家居家裝商品自動(dòng)化高精度建模流程,未來,每平每屋作為阿里巴巴旗下家居家裝賽道的創(chuàng)新業(yè)務(wù),會(huì)持續(xù)加大科研技術(shù)投入,從「商品模型-戶型-設(shè)計(jì)」及其他各個(gè)步驟,幫助商家、設(shè)計(jì)師、消費(fèi)者降低3D場(chǎng)景創(chuàng)作的門檻,將科技注入家裝家居和居住全鏈路的每一個(gè)環(huán),以科技優(yōu)化每個(gè)人對(duì)居住空間的體驗(yàn)、體感與審美,構(gòu)建數(shù)智化的全新居住模式。