敏 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
當(dāng)真是買算法送手機(jī)!
這不,谷歌又給“親兒子”Pixel 6塞福利了,讓手機(jī)摳圖也能細(xì)節(jié)到頭發(fā)絲。
看這效果,原本模糊的頭發(fā)輪廓,咻地一下,就變成了纖毫畢現(xiàn)的樣子!
連發(fā)絲之間的縫隙也能精準(zhǔn)摳到。
這樣一來(lái),就避免了使用人像模式拍照時(shí)人物與虛化背景割裂的情況,讓人物照片的縱深感更加逼真。
四舍五入一下,這不就是手握單反拍照?(手動(dòng)狗頭)
在介紹最新的方法之前,先來(lái)了解一下過(guò)去手機(jī)的人像模式拍照到底是怎么實(shí)現(xiàn)的。
傳統(tǒng)方法是使用二進(jìn)制將圖像分割,然后對(duì)分離出的背景進(jìn)行虛化,在視覺(jué)上產(chǎn)生一種縱深感,由此也就能更加突出人物主體了。
雖然帶來(lái)的視覺(jué)效果非常明顯,但是在細(xì)節(jié)上的表現(xiàn)還不夠強(qiáng)大。
由此,谷歌將常用于電影制作和攝影修圖的Alpha遮罩搬到了手機(jī)上,提出了一個(gè)全新的神經(jīng)網(wǎng)絡(luò),名叫“Portrait matting”。
其中,主干網(wǎng)絡(luò)是MobileNetV3。
這是一個(gè)輕量級(jí)網(wǎng)絡(luò),特點(diǎn)是參數(shù)少、計(jì)算量小、推理時(shí)間短,在OCR、YOLO v3等任務(wù)上非常常見(jiàn),具體結(jié)構(gòu)長(zhǎng)這樣:
然后再利用一個(gè)淺層網(wǎng)絡(luò)和一系列殘差塊,來(lái)進(jìn)一步提升Alpha遮罩的精細(xì)度。
其中,這個(gè)淺層網(wǎng)絡(luò)更加依賴于低層特征,由此可以得到高分辨率的結(jié)構(gòu)特征,從而預(yù)測(cè)出每個(gè)像素的Alpha透明度。
通過(guò)這種方式,模型能夠細(xì)化初始輸入時(shí)的Alpha遮罩,也就實(shí)現(xiàn)了如上細(xì)節(jié)到頭發(fā)絲的摳圖效果。谷歌表示,神經(jīng)網(wǎng)絡(luò)Portrait matting可以使用Tensorflow Lite在Pixel 6 上運(yùn)行。
此外,考慮到使用Alpha遮罩摳圖時(shí),背光太強(qiáng)往往會(huì)導(dǎo)致細(xì)節(jié)處理不好。
谷歌使用了體積視頻捕捉方案The Relightables來(lái)生成高質(zhì)量的數(shù)據(jù)集。
這是谷歌在2019年提出的一個(gè)系統(tǒng),由一個(gè)球形籠子組成,裝有331個(gè)可編程LED燈和大約100個(gè)用于捕獲體積視頻的攝像機(jī)。
相比于一般的數(shù)據(jù)集,這種方法可以讓人物主體的光照情況與背景相匹配,由此也就能呈現(xiàn)更為逼真的效果。
而且這種方法還能滿足人像被放置在不同場(chǎng)景中時(shí),光線變化的需求。
值得一提的,谷歌還在這一方法中使用了監(jiān)督學(xué)習(xí)的策略。
這是因?yàn)樯窠?jīng)網(wǎng)絡(luò)在摳圖上的準(zhǔn)確度和泛化能力還有待提升,而純?nèi)斯?biāo)注的工作量又太大了。
所以,研究人員利用標(biāo)記好的數(shù)據(jù)集來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò),從而大量數(shù)據(jù)中來(lái)提高模型泛化能力。
用算法來(lái)優(yōu)化攝影效果,其實(shí)是谷歌的傳統(tǒng)藝能了。
比如Pixel 4中,就使用算法來(lái)拍攝星空。
HDR+算法更不必說(shuō),曾經(jīng)引發(fā)過(guò)大眾熱議。
這一功能可以在相機(jī)啟動(dòng)時(shí)、沒(méi)有按快門的情況下連續(xù)捕捉圖像,并且會(huì)緩存最近保存的9張。這些照片將會(huì)與按下快門后的圖像一并處理,最終得到一張最優(yōu)的圖像。
同時(shí)它還能讓Pixel在夜間模式下拍照時(shí),不用像其他手機(jī)那樣長(zhǎng)時(shí)間停留。
由于提升攝影效果不靠硬件,谷歌也將這些功能整合到一個(gè)APP上,適用于各種安卓手機(jī)。
感興趣的小伙伴,可以去試玩看看or分享自己的體驗(yàn)~
參考鏈接:
https://ai.googleblog.com/2022/01/accurate-alpha-matting-for-portrait.html
— 完 —
量子位 QbitAI · 頭條號(hào)簽約
關(guān)注我們,第一時(shí)間獲知前沿科技動(dòng)態(tài)
css3的濾鏡filter屬性,可以對(duì)網(wǎng)頁(yè)中的圖片進(jìn)行類似Photoshop圖片處理的效果,h5時(shí)代的來(lái)臨,我們可以通過(guò)css對(duì)圖像進(jìn)行處理。
瀏覽器支持情況:只有IE瀏覽器不支持filter(濾鏡)屬性,為了兼容低版本的safari和google瀏覽器,需要加上前綴-webkit-
filter(濾鏡)屬性現(xiàn)在規(guī)范中支持的效果有:
grayscale 灰度(值為0-1之間的小數(shù))
filter:grayscale(1); -webkit-filter:grayscale(1);
0表示灰度為0%,顯示原圖,1 表示灰度為100%灰色。
灰度
sepia 褐色(值為0-1之間的小數(shù))
filter:sepia(1); -webkit-filter:sepia(1);
0表示褐色度為0%,顯示原圖,1 表示褐色度為100%顯示褐色。
saturate 飽和度(值為num)
filter:saturate(1.8); -webkit-filter:saturate(1.8);
0表示飽和為0,圖片顯示黑白色,0.5表示飽和度為原圖的一半,1表示飽和度等于原圖,數(shù)值大于1表示飽和度加強(qiáng)。
hue-rotate 色相旋轉(zhuǎn)(值為angle)角度deg
filter:hue-rotate(60deg); -webkit-filter:hue-rotate(60deg);
表示色相旋轉(zhuǎn)的具體角度。
invert 反色(值為0-1之間的小數(shù))
filter:invert(1); -webkit-filter:invert(1);
0表示不反色顯示原圖,1表示100%完全反色。
opacity 透明度(值為0-1之間的小數(shù))
filter:opacity(0.5); -webkit-filter:opacity(0.5);
0表示完全透明,0.5表示半透明,1表示100%完全不透明。
brightness 亮度(值為num)
filter:brightness(2); -webkit-filter:brightness(2);
0表示亮度為0,顯示黑色,0.5表示亮度為原圖的一半,1表示原圖亮度,數(shù)值大于1表示亮度加強(qiáng)。
contrast 對(duì)比度(值為num)
filter:contrast(1.8); -webkit-filter:contrast(1.8);
0表示對(duì)比度為0,為純色,0.5表示對(duì)比度為原圖的一半,1為原圖對(duì)比度,數(shù)值大于1,值越大,對(duì)比度越強(qiáng)。
blur 模糊(值為length)
filter:blur(5px); -webkit-filter:blur(5px);
表示虛化程度像素值。
drop-shadow 陰影
filter:drop-shadow(0 0 10px #000); -webkit-filter:drop-shadow(0 0 10px #000);
和css3 box-shadow屬性值一致。
多個(gè)屬性值可以寫一起,用空格隔開(kāi),類似transform多屬性寫法
filter:saturate(1.8) blur(3px); -webkit-filter:saturate(1.8) blur(3px);
飽和度+模糊
案例源碼下載鏈接,請(qǐng)登錄http://bbs.520it.com/forum.php?mod=viewthread&tid=2899&pid=32695&page=1&ordertype=2&extra=#pid32695
更多交流更多伙伴,盡在bbs.520it.com
這個(gè)美圖的時(shí)代,干什么都要拍照,比如說(shuō)吃飯前要拍照、喝水前要拍照、上廁所要拍照... ...但是怎樣才能把照片拍得像大片呢?除了PS,還有一些操作技巧可以讓你的相片更有范。
背景虛化
來(lái)源:http://wallpaper.pconline.com.cn/picsource/13424_10.html
要想拍出背景虛化的效果,大光圈鏡頭(定焦鏡頭)是最好的選擇,除了之外,長(zhǎng)焦鏡頭也可以達(dá)到此效果。除了選擇合適的鏡頭,將相機(jī)調(diào)到光圈優(yōu)先模式,一般來(lái)說(shuō),光圈越大,背景越虛化。將鏡頭對(duì)焦到主體,使用全手動(dòng)擋,控制最好的拍攝距離你就可以拍出虛化照片了。
逆光攝影
來(lái)源:http://hnhbmwd.blog.163.com/blog/static/13464199920130260158298/
逆光攝影最重要的是了解光線的角度。當(dāng)早晨或黃昏、太陽(yáng)接近地平線時(shí),地面上的物體基本上完全是被逆光照射的,此時(shí)的逆光效果最為突出、更加強(qiáng)烈。冬季也比夏季更適合拍攝逆光照片,因?yàn)槎镜娜栈【€位置非常低,逆光的效果也就更好。
光圈優(yōu)先
來(lái)源:http://itbbs.pconline.com.cn/dc/topic_21005841-14215657.html
數(shù)碼相機(jī)的曝光量就取決于快門和光圈,以及感光度ISO,那么選擇哪一個(gè)優(yōu)先拍出來(lái)的照片才是最完美的呢?答案是光圈優(yōu)先,在光圈優(yōu)先的情況下,我們可以通過(guò)光圈的大小來(lái)輕松地控制景深,可以得到很好地曝光效果。
雙重曝光
來(lái)源:http://g.pconline.com.cn/x/605/6057156.html
雙重曝光會(huì)讓你的照片呈現(xiàn)出非常夢(mèng)幻的效果,要想拍攝出雙重曝光的效果,首先把相機(jī)的模式轉(zhuǎn)盤轉(zhuǎn)到任意一個(gè)創(chuàng)意拍攝的模式,讓后按下MENU鍵,找到多重曝光設(shè)置欄,將其開(kāi)啟,由于我們是進(jìn)行雙重曝光拍攝,所以要將曝光次數(shù)設(shè)置為2,再將光圈。快門、ISO等參數(shù)設(shè)置好,連續(xù)拍下兩張不同的照片,相機(jī)就會(huì)自動(dòng)將其合成一張,達(dá)到絢麗的雙重曝光效果。
怎么樣,學(xué)會(huì)了嗎?趕緊拿上你的相機(jī)開(kāi)始拍大片吧!
*請(qǐng)認(rèn)真填寫需求信息,我們會(huì)在24小時(shí)內(nèi)與您取得聯(lián)系。