三星實驗室的一組研究人員已經(jīng)開發(fā)出改進的神經(jīng)頭像技術(shù)，分辨率達到百萬像素。使用動畫駕駛圖像，該團隊提出了一套新的神經(jīng)架構(gòu)和訓(xùn)練方法來應(yīng)對“特別具有挑戰(zhàn)性的交叉駕駛合成任務(wù)”。
該團隊已經(jīng)開發(fā)了令人信服的歷史人物甚至一些現(xiàn)代名人的神經(jīng)化身。神經(jīng)架構(gòu)采用提供的駕駛圖像，這是一個人做出不同面部表情和動作的視頻。然后，它適用于靜態(tài)圖像，如繪畫肖像或照片。然后，系統(tǒng)將靜態(tài)圖像轉(zhuǎn)換為運動圖形，其中主體的頭部和面部對應(yīng)于駕駛圖像的運動。
該系統(tǒng)的獨特之處在于其令人印象深刻的分辨率以及可以使用“一次拍攝”創(chuàng)建動畫頭像的事實。百萬像素肖像，簡稱MegaPortraits，依賴于兩階段的訓(xùn)練。該團隊將其培訓(xùn)設(shè)置描述為“相對標(biāo)準(zhǔn)”。它涉及在每個步驟中從其數(shù)據(jù)集中采樣兩個隨機幀，提取一個源幀和一個驅(qū)動程序幀。然后，該模型“將驅(qū)動幀的運動(即頭部姿勢和面部表情)強加到源幀的外觀上，以產(chǎn)生輸出圖像。學(xué)習(xí)信號是使用訓(xùn)練情節(jié)構(gòu)建的，其中源幀和驅(qū)動程序幀出現(xiàn)在同一視頻中。
該團隊認為，其方法是第一個實現(xiàn)令人印象深刻的百萬像素分辨率的方法。該系統(tǒng)有兩個主要限制。首先，用于訓(xùn)練的 VoxCeleb2 和 FFHQ 數(shù)據(jù)集主要包括正面視圖或近額視圖。在渲染非正面頭部姿勢的情況下，質(zhì)量會下降。第二個限制是一些時間閃爍，如上面的視頻所示。這種閃爍是由于高分辨率圖像僅限于靜態(tài)視圖。