Warning: error_log(/data/www/wwwroot/hmttv.cn/caches/error_log.php): failed to open stream: Permission denied in /data/www/wwwroot/hmttv.cn/phpcms/libs/functions/global.func.php on line 537 Warning: error_log(/data/www/wwwroot/hmttv.cn/caches/error_log.php): failed to open stream: Permission denied in /data/www/wwwroot/hmttv.cn/phpcms/libs/functions/global.func.php on line 537
簫 發(fā)自 凹非寺
量子位 報(bào)道 | 公眾號(hào) QbitAI
如今,能像打游戲一樣,控制真人網(wǎng)球運(yùn)動(dòng)員的每一個(gè)動(dòng)作,“贏得”比賽:
甚至能一幀幀控制,制作一個(gè)0失誤的彈球游戲視頻:
還可以像夾娃娃機(jī)一樣,想讓視頻中的機(jī)器人夾爪往哪動(dòng),它就往哪動(dòng):
制作各種視頻,現(xiàn)在就像是打游戲一樣簡(jiǎn)單,效果還非常逼真。
果然,這又是AI的“功勞”。
只需要敲幾下鍵盤(pán),就能控制視頻中某個(gè)目標(biāo)的方法,叫做“可玩視頻生成器” (playable video generation)。
也就是說(shuō),不需要視頻剪輯技巧,只需要用幾個(gè)鍵來(lái)指示動(dòng)作標(biāo)簽,用戶就能像“打游戲”一樣,控制目標(biāo)的每一幀動(dòng)作,制作出視頻來(lái),效果絲滑流暢。
不過(guò),與游戲不同的是,這種方法甚至可以通過(guò)AI預(yù)測(cè)動(dòng)作,來(lái)控制真實(shí)視頻中的目標(biāo)。
這是怎么做到的?
作者們利用自監(jiān)督的方法,讓模型學(xué)習(xí)了大量無(wú)標(biāo)簽視頻。
也就是說(shuō),給出一組無(wú)標(biāo)簽視頻,讓模型學(xué)習(xí)出一組離散的動(dòng)作,和一個(gè)能通過(guò)這些動(dòng)作、生成視頻的模型。
為此,作者設(shè)計(jì)了一種encoder-decoder結(jié)構(gòu)CADDY,其中預(yù)測(cè)的動(dòng)作標(biāo)簽則起到瓶頸層(bottleneck)的作用。
這些可播放視頻生成結(jié)構(gòu),由若干組件組成,其中編碼器E,從輸入視頻序列中,提取幀特征。
而時(shí)序模型,則采用遞歸神經(jīng)網(wǎng)絡(luò)R、和用來(lái)預(yù)測(cè)輸入動(dòng)作標(biāo)簽的網(wǎng)絡(luò)A,用于估計(jì)目標(biāo)連續(xù)的動(dòng)作狀態(tài)。
最后,用解碼器D,來(lái)重構(gòu)輸入幀,就能生成可控制的視頻模型了。
當(dāng)然,想要讓模型達(dá)到開(kāi)頭那樣的效果,還需要對(duì)應(yīng)的視頻數(shù)據(jù)集。
作者們用了3個(gè)數(shù)據(jù)集來(lái)訓(xùn)練,分別是RoboNet、Atari Breakout和Tennis。
RoboNet數(shù)據(jù)集,是伯克利人工智能研究所(BAIR)做的一個(gè)機(jī)械臂數(shù)據(jù)集,共有1500萬(wàn)個(gè)視頻幀。
這個(gè)數(shù)據(jù)集,包含各種機(jī)器人的攝像記錄、機(jī)械臂姿勢(shì)、力傳感器讀數(shù)和夾爪狀態(tài)。
而Atari Breakout,則是一個(gè)彈球游戲,這是一個(gè)非常簡(jiǎn)單的2D像素游戲,玩家通過(guò)控制平板左右移動(dòng),讓彈球準(zhǔn)確地彈掉天花板上的磚塊,以此得分。
這一游戲,已經(jīng)專門為AI設(shè)立了一個(gè)排行榜,目前得分最高的仍然是谷歌DeepMind的MuZero。
而能控制模型一幀幀生成游戲視頻的CADDY模型,也是通過(guò)這個(gè)游戲訓(xùn)練出來(lái)的。
也就是說(shuō),只要玩得夠慢,絕對(duì)能“0失誤”做出“完美彈球游戲視頻”來(lái)。(細(xì)思極恐)
至于網(wǎng)球數(shù)據(jù)集,作者們是在油管下載的(還需要安裝youtube-dl),通過(guò)油管上的網(wǎng)球視頻,做出真人可控的錄像來(lái)。
說(shuō)不定,將來(lái)還能操作自己喜歡的網(wǎng)球巨星,來(lái)與好友進(jìn)行一場(chǎng)世界級(jí)的“實(shí)戰(zhàn)”博弈。
此外,既可以通過(guò)項(xiàng)目地址來(lái)下載上述的三個(gè)模型,也可以自己準(zhǔn)備想用的視頻數(shù)據(jù)集(要求MP4格式),來(lái)訓(xùn)練出目標(biāo)可控的視頻。
具體到模型運(yùn)行上,作者們推薦用Linux系統(tǒng)來(lái)運(yùn)行模型,訓(xùn)練的話,最好自帶1個(gè)或以上兼容CUDA的GPU。
此外,模型提供Conda環(huán)境和Dockerfile,用于配置所需要的庫(kù)。
準(zhǔn)備好后,就能進(jìn)行模型訓(xùn)練和評(píng)估了。
目前,這一模型的“彈球游戲”版在線Demo已出,玩家可以通過(guò)控制左、右、或保持,這三種動(dòng)作,來(lái)讓彈球準(zhǔn)確地?fù)舸虻狡桨迳稀?/p>
如果你是手殘黨,用這個(gè)demo制作出來(lái)的視頻,絕對(duì)能讓你體會(huì)到游戲0失誤的快樂(lè)。
文末附demo鏈接,趕緊上手試試吧~
這個(gè)“可玩視頻生成器”的一作Willi Menapace,是來(lái)自特倫托大學(xué)的博士生,主修深度學(xué)習(xí)和計(jì)算機(jī)視覺(jué)應(yīng)用,尤其對(duì)圖像和視頻生成方向的研究特別感興趣。
二作Stephane Lathuili′ere,是巴黎理工學(xué)院的助理教授,主要的研究方向是強(qiáng)化學(xué)習(xí)、和深度學(xué)習(xí)中的回歸問(wèn)題,包括圖像和視頻生成。
共同二作Sergey Tulyakov,來(lái)自Snap的首席科學(xué)家,主要研究方向包括機(jī)器學(xué)習(xí)中的風(fēng)格轉(zhuǎn)換、逼真對(duì)象操作和動(dòng)畫(huà)、視頻合成、預(yù)測(cè)和重新定位等。
Aliaksandr Siarohin和Elisa Ricci,分別是來(lái)自特倫托大學(xué)的博士生和助理教授,主要研究方向包括計(jì)算機(jī)視覺(jué)、機(jī)器人和機(jī)器學(xué)習(xí)等。
項(xiàng)目地址:
https://willi-menapace.github.io/playable-video-generation-website/
在線demo:
https://willi-menapace.github.io/playable-video-generation-website/play.html
— 完 —
量子位 QbitAI · 頭條號(hào)簽約
關(guān)注我們,第一時(shí)間獲知前沿科技動(dòng)態(tài)
序超均勻態(tài)
超均勻流體
“彈珠”模型
圖5:(A)二維底板上,由外力矩驅(qū)動(dòng)下高速旋轉(zhuǎn)的陀螺滿足“碰撞激發(fā)”的條件。(B)結(jié)構(gòu)因子S(q)顯示陀螺集群是一種超均勻流體。(C)陀螺集群的密度漲落的譜函數(shù)和簡(jiǎn)單硬球模型圖4B基本相同。
總之,作者通過(guò)提出了一個(gè)簡(jiǎn)單的“彈珠”模型研究了超均勻流體的形成機(jī)理,發(fā)現(xiàn)只要滿足相互的“碰撞激發(fā)”和“摩擦耗散”這兩個(gè)條件就可以產(chǎn)生超均勻流體態(tài)。為了進(jìn)一步地證明結(jié)論的普適性,作者還展示了如何利用自驅(qū)動(dòng)的“陀螺”集群實(shí)現(xiàn)超均勻流體,這對(duì)實(shí)驗(yàn)具有極強(qiáng)的指導(dǎo)意義。在理論上作者也做出了突出貢獻(xiàn),不僅首次發(fā)現(xiàn)了超均勻流體的流體力學(xué)方程,還提出了啟發(fā)性的諧振子模型來(lái)幫助理解超均勻流體態(tài)。從材料學(xué)角度上看,這種超均勻流體有望成為一種具有“自修復(fù)”和“自適應(yīng)”的智能活性流體材料,比如活性“光子液體”。這種流體材料不僅具有像光子晶體一樣的光學(xué)性質(zhì),而且活性“光子液體”即使受到機(jī)械損傷,也可以自我修復(fù),同時(shí)也可隨著外場(chǎng)驅(qū)動(dòng)的變化改變自己的光學(xué)性質(zhì),是不是很科幻呢?
文章信息
Qun-Li Lei and Ran Ni; Hydrodynamics of random-organizing Hyperuniform Fluids,Proc. Natl Acad. Sci. (USA), (2019), https://www.pnas.org/content/early/2019/10/29/1911596116
倪冉教授課題組網(wǎng)站:
http://www.ntu.edu.sg/home/r.ni
參考文獻(xiàn)
[1].A Bird’s-Eye View of Nature’s Hidden Order,Quanta Magazine(July 12, 2016)
[2].從鳥(niǎo)眼看見(jiàn)大自然的隱藏秩序——漫步于秩序與隨機(jī)之間的超均勻性,《數(shù)理人文》雜志2017第12期
[3]. 具有局域巨漲落的超均勻流體 —— 一種新的活性流體態(tài),《知社學(xué)術(shù)圈》微信公眾號(hào)
[4].http://www.cs.huji.ac.il/~raananf/projects/kdm/results.html
點(diǎn)擊https://www.pnas.org/content/early/2019/10/29/1911596116查看論文
《QQ炫舞》手游由原班端游制作團(tuán)隊(duì)歷經(jīng)3年精心打磨,游戲傳承了端游原汁原味的音舞體驗(yàn),并在畫(huà)面美術(shù)以及玩法上做到了全面的提升與突破。《QQ炫舞》手游采用了日系清新唯美的畫(huà)風(fēng),玩法上除了保留端游經(jīng)典的傳統(tǒng)模式之外,還新加入了星動(dòng)模式、彈珠模式、泡泡模式等適合移動(dòng)端操作的玩法。無(wú)論你是追求浪漫搭配的顏值控,還是尋找音舞操作感的技術(shù)黨,都可以在《QQ炫舞》手游感受到制作團(tuán)隊(duì)的滿滿誠(chéng)意。目前《QQ炫舞》手游官網(wǎng)正在開(kāi)放不刪檔預(yù)約活動(dòng),成功報(bào)名預(yù)約的玩家就可以獲得價(jià)值999元的預(yù)約大禮包!
圖1:QQ炫舞手游不刪檔預(yù)約
官方預(yù)約地址:http://x5m.qq.com/act/a20170925book/index.html
原班人馬打造 傳承十年情懷
《QQ炫舞》曾經(jīng)是一款現(xiàn)象級(jí)的音舞網(wǎng)游,原作端游即將伴隨玩家走過(guò)十個(gè)年頭,最高260萬(wàn)同時(shí)在線、歷史累計(jì)注冊(cè)玩家超過(guò)3億,足以說(shuō)明《QQ炫舞》這款游戲在音舞界的霸主地位。《QQ炫舞》手游完美復(fù)刻了原作的經(jīng)典玩法,玩家可以在休閑模式中體驗(yàn)經(jīng)典帶來(lái)的那一份感動(dòng),跳躍的音符、熟悉的舞步、加上海量潮流曲庫(kù)力求讓玩家在移動(dòng)端,也能找回昔日熟悉的炫舞體驗(yàn)。
圖2:經(jīng)典玩法傳承十年情懷
指尖譜寫(xiě)樂(lè)章 讓音符彈起來(lái)
“星動(dòng)模式”是《QQ炫舞》手游一個(gè)全新的玩法模式,可以完美適應(yīng)移動(dòng)端的操作手法,也是目前游戲的主打模式。游戲中音樂(lè)將變成充滿節(jié)奏感的音符墜落,玩家可以通過(guò)敲擊、滑動(dòng)、長(zhǎng)按等不同操作來(lái)展現(xiàn)自己的技術(shù)手法,隨著音符的COMBO連擊,玩家的角色同時(shí)會(huì)開(kāi)始展現(xiàn)自己的舞步。爽快的音符節(jié)奏打擊感,配合上曼妙迷人的舞姿,全新“星動(dòng)模式”玩法必將使你沉迷其中。
圖3:星動(dòng)模式讓音符動(dòng)起來(lái)
“彈珠模式”模式考驗(yàn)著玩家愛(ài)對(duì)于音樂(lè)節(jié)奏的把控能力,這一玩法在移動(dòng)端將“指尖與音符”的互動(dòng)操作表現(xiàn)到了極致。全網(wǎng)獨(dú)創(chuàng)的彈珠模式根據(jù)游戲節(jié)奏,玩家可以通過(guò)敲擊與長(zhǎng)按承接這些跳躍的音符,可以讓節(jié)奏音符真切的動(dòng)起來(lái)。除此之外還可以滑動(dòng)彈開(kāi)節(jié)奏音符,讓音符可以與玩家之間進(jìn)行互動(dòng)。這個(gè)模式極大豐富了《QQ炫舞》手游的玩法,增強(qiáng)了游戲的整體趣味性,對(duì)于追尋新鮮感的玩家來(lái)說(shuō),一定不可以錯(cuò)過(guò)。
圖4:ALL COMBO專屬特效
隨機(jī)呈現(xiàn)是“泡泡模式”最大的特點(diǎn),對(duì)玩家的微操和手速有著較高要求,你的移動(dòng)設(shè)備的頻幕有多大,音符出現(xiàn)的范圍面積便有多大。無(wú)論在落點(diǎn)的感知、節(jié)奏的把握,以及承接音符的手速都有著全面的難度提升。除了加入大量音舞模式外,游戲中的對(duì)戰(zhàn)玩法也十分豐富多彩,如事務(wù)所、休閑局、歡樂(lè)局、排位賽、雙人排位賽極大豐富了玩家選擇的自由度。
圖5:多模式對(duì)戰(zhàn)豐富游戲體驗(yàn)
全球流行音樂(lè) 海量正版曲庫(kù)
《QQ炫舞》手游不僅有最潮最流行的歌曲,也將原作端游中的經(jīng)典歌曲加入其中,玩家初始可以從事務(wù)所的中不同模式的歌曲練習(xí)中,逐漸回憶起曾經(jīng)的那一份感動(dòng)。隨著玩家等級(jí)的提升還可以解鎖主題專輯,讓玩家享受全球流行音樂(lè)盡在手中的快感。
圖6:主題專輯海量曲庫(kù)
最精致美顏社 浪漫百變換裝
角色外觀與服裝搭配也是《QQ炫舞》手游一大亮點(diǎn)所在,為滿足玩家追求角色差異的需求,《QQ炫舞手游》為此制作了面部自定義設(shè)計(jì),在游戲中這個(gè)功能被叫做“美顏社”,除了提供預(yù)設(shè)臉型之外,玩家還可以導(dǎo)入和導(dǎo)出臉型,并且可以自由定制細(xì)節(jié),其精細(xì)程度在同類音舞游戲中堪稱獨(dú)一份。服飾上玩家通過(guò)事務(wù)所挑戰(zhàn),以及參與排位賽獲得大量服飾,從而滿足玩家的日常百變換裝搭配,另外游戲中開(kāi)放了“工坊”功能,提供玩家服飾的打造、合成、進(jìn)化、染色、分解等一系列玩法。
圖7:美顏來(lái)襲能告別大眾臉
圖8:浪漫搭配百變換裝
情侶結(jié)伴同行 譜寫(xiě)最美故事
《QQ炫舞》一直以來(lái)都是一款鏈接玩家的游戲,在這十年中發(fā)生了很多讓人感動(dòng)的故事,《QQ炫舞》手游同樣秉承這一理念,游戲設(shè)計(jì)中包含了房間互動(dòng)、社區(qū)、舞團(tuán)、姻緣樹(shù)等、影像長(zhǎng)廊等多重玩家間互動(dòng)社交功能,讓每名玩家通過(guò)游戲都可以找尋到自己的好友,并書(shū)寫(xiě)屬于自己的專屬浪漫愛(ài)情故事。
圖9:結(jié)伴同行書(shū)寫(xiě)專屬愛(ài)情故事
十年以來(lái)《QQ炫舞》帶來(lái)的快樂(lè)和感動(dòng)已經(jīng)融入每名玩家的心中,現(xiàn)在《QQ炫舞》手游不刪檔測(cè)試已經(jīng)開(kāi)啟預(yù)約,它將延續(xù)這份快樂(lè)和感動(dòng),并譜寫(xiě)新的故事。三億指尖的音樂(lè)夢(mèng)想,炫舞將繼續(xù)守護(hù)!
*請(qǐng)認(rèn)真填寫(xiě)需求信息,我們會(huì)在24小時(shí)內(nèi)與您取得聯(lián)系。