慢動(dòng)作是當(dāng)今影視作品中經(jīng)常用到的技術(shù)，他能更好地吸引觀(guān)眾，讓人們看到正常速度下看不到的細(xì)節(jié)，帶來(lái)視覺(jué)沖擊；把人們更好地帶入角色的腦海，傳遞情感。 

隨著技術(shù)進(jìn)步，如今我們的手機(jī)也可以拍慢動(dòng)作了。如果只是發(fā)個(gè)朋友圈、Instagram，iPhone 相機(jī)里的 Slow-Motion 絕對(duì)夠用了！

但如果想要拍專(zhuān)業(yè)級(jí)的慢動(dòng)作呢？你往往需要一臺(tái)相當(dāng)高端的相機(jī)。然而一般的慢鏡頭相機(jī)都是 1000fps（每秒幀數(shù)）起步，幾千美金都是正常的；專(zhuān)業(yè)級(jí)則要到 3000fps 甚至更數(shù)萬(wàn) fps，價(jià)格往往上萬(wàn)美元了。

并不是所有人都能成為 The Slow Mo Guys 啊……

上面圖片就是來(lái)自 The Slow Mo Guys?？纯?，用十幾萬(wàn)刀的慢鏡頭相機(jī)拍出來(lái)的就是不一樣……

如果換成渣幀率的相機(jī)呢，就變成了這樣??

為什么一點(diǎn)都不連貫?zāi)?？因?yàn)槁R頭的原理就是用高幀率拍攝，幀率越高，按照 60 或者 120fps 的正常幀率播放時(shí)就會(huì)顯得越順滑。

相機(jī)本身幀率低，非要強(qiáng)行慢放，還要啥效果??？

但如果非要呢？

隆重介紹英偉達(dá)最近發(fā)布的一個(gè)新技術(shù)：機(jī)器學(xué)習(xí)自動(dòng)生成慢鏡頭：

靠算法來(lái)實(shí)現(xiàn)的慢動(dòng)作

傳統(tǒng)的慢鏡頭，是因?yàn)橄鄼C(jī)真的拍到了那么多幀的畫(huà)面。

而相信你也看明白了，英偉達(dá)這個(gè)黑科技，并不需要那么多幀：它是用算法給標(biāo)準(zhǔn)視頻補(bǔ)充更多的幀，從而將其變成一段高幀率視頻，也就有了慢動(dòng)作。

這是什么意思呢？用下面這張圖來(lái)舉例，比方說(shuō)正常相機(jī)拍到的是下面那組的 10 幀，英偉達(dá)黑科技就是用計(jì)算 " 強(qiáng)行 " 生成額外的幀，插在已有的幀中間。

這些新生成的畫(huà)面，到底應(yīng)該長(zhǎng)什么樣，就全靠算法來(lái)模擬了。過(guò)去也有類(lèi)似的算法生成，效果并不好，而從剛才的視頻里，你也看出來(lái)英偉達(dá)已經(jīng)遠(yuǎn)遠(yuǎn)超過(guò)以假亂真的程度了——這明明就是真的慢鏡頭嘛！

這項(xiàng)黑科技的名字，叫做 " 可變長(zhǎng)度多幀插值 " ( Variable-Length Multi-Frame Interpolation ) 。

它可以在標(biāo)準(zhǔn)視頻的基礎(chǔ)上，以令人難以想象的準(zhǔn)確度，生成新的 " 假幀 "，進(jìn)而變成流暢且清晰的慢動(dòng)作視頻。原始視頻的幀率必須達(dá)到或高于 30fps。

最厲害的是，這個(gè)慢鏡頭，你想要多慢就可以多慢，比如可以變成 60fps，就是已有的每?jī)蓭g多插一幀；也可以變成 900 幀，也就是每?jī)蓭g多插 29 幀……

英偉達(dá)將這項(xiàng)技術(shù)形象地稱(chēng)為：超級(jí)慢動(dòng)作  

而且英偉達(dá)表示，這個(gè)算法在測(cè)試中 " 比已有的最前沿方法效果都更好 "。

比如下圖中展示了六個(gè)同類(lèi)的算法，可以看出前五個(gè)都有不同程度的畫(huà)面畸變，f 的真實(shí)度最好，也正是英偉達(dá)的技術(shù)。

AI 腦補(bǔ)多少補(bǔ)多少  

這項(xiàng)所謂的多幀插值技術(shù)，其實(shí)并不是什么新鮮東西。

如果你還記得小時(shí)候看電視，看球賽感覺(jué)特別順暢，看電視劇感覺(jué)畫(huà)面奶里奶氣，柔和的不像話(huà)，那么恭喜你：你已經(jīng)感受過(guò)一個(gè)名叫動(dòng)態(tài)插值的技術(shù)了……

這是因?yàn)樵诤茉缫郧埃娨暰陀羞@個(gè)能力了，它可以對(duì)兩幀畫(huà)面進(jìn)行一定程度的復(fù)制和演化，生成新的一幀，然后插進(jìn)去。

英偉達(dá)的新算法也是兩幀之間，但名字里" 可變多幀 "意思是可以在任意兩幀之間完成插值，其中插值和遮擋推理會(huì)在一個(gè)端對(duì)端的卷積神經(jīng)網(wǎng)絡(luò)上同時(shí)進(jìn)行建模。 

比方說(shuō)原視頻的 1、2、3 幀，英偉達(dá)的黑科技可以在 1 和 3 之間新生成一個(gè)，跟真實(shí)的 2 幀進(jìn)行比對(duì)，從而優(yōu)化算法。

所有人都可以這樣做，為什么英偉達(dá)贏(yíng)了？答案是顯而易見(jiàn)的：他們坐擁著大量的顯卡……

在訓(xùn)練算法過(guò)程中，英偉達(dá)使用了 Tesla V100 GPU，以及改良后的 PyTorch 深度學(xué)習(xí)框架。英偉達(dá)共使用了 1132 段視頻，共 37.6 萬(wàn)獨(dú)立視頻幀數(shù)。

為了更直觀(guān)的展現(xiàn)自己的成果，英偉達(dá)還真和 The Slow Mo Guys 合作了。開(kāi)頭的視頻里展示了英偉達(dá)用他們發(fā)在網(wǎng)上的慢鏡頭視頻進(jìn)一步生成的 " 更慢鏡頭 " 視頻，效果可以說(shuō)相當(dāng)驚人了。

AI 的這次突破背后更重要的是，它讓慢動(dòng)作制作有了擺脫硬件約束的可能。

英偉達(dá)在論文中表示，他們希望未來(lái)通過(guò)云端完成大部分處理過(guò)程，進(jìn)而讓這項(xiàng)技術(shù)能在消費(fèi)級(jí)設(shè)備上得到普及。

這句話(huà)的意思是：以后你可以在手機(jī)上隨便拍拍，服務(wù)器自動(dòng)給你做出超慢鏡頭……

是不是很值得期待？

只不過(guò)到那時(shí)，我們可能又要遇到另一個(gè)問(wèn)題：

當(dāng)視頻里面一大半的幀都是 AI 強(qiáng)行 " 瞎編 " 出來(lái)的，那還算的上是真實(shí)的視頻么？

【來(lái)源：品玩】