安全防護(hù)層層加碼,新一代耐用戰(zhàn)神 OPPO A5 Pro 正式開售
Google 聯(lián)合 MIT 開發(fā)新圖像算法订咸,從此手機(jī)拍照不用修圖
新算法可以繞開手機(jī)性能和續(xù)航的制約,自動(dòng)處理圖像盟榴。
用手機(jī)拍出一張優(yōu)質(zhì)的照片,不僅需要好的手機(jī)攝像頭擎场,軟件算法對圖像的優(yōu)化同樣至關(guān)重要羽德。近期,搜索巨頭 Google 聯(lián)合 MIT 的科學(xué)家開發(fā)出了一種新的軟件算法迅办,它能讓手機(jī)像專業(yè)攝影師那樣自動(dòng)處理圖片宅静,并且,這項(xiàng)算法更加節(jié)能站欺,處理速度也更快姨夹,在用手機(jī)拍攝時(shí)可實(shí)時(shí)顯示修飾的圖像。
研究人員用機(jī)器學(xué)習(xí)的方式創(chuàng)建該軟件矾策,在由 MIT 和 Adobe 創(chuàng)建的擁有 5000 張圖片的數(shù)據(jù)庫中進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練磷账。數(shù)據(jù)庫中每一幅圖片都被五名攝影師修飾過,該系統(tǒng)可以利用這些修飾數(shù)據(jù)學(xué)習(xí)如何對圖片參數(shù)進(jìn)行調(diào)整和修改蝴韭,比如亮度調(diào)節(jié)够颠、飽和度調(diào)節(jié)等熙侍。
這項(xiàng)新的系統(tǒng)還可以加速現(xiàn)有的圖像處理算法榄鉴。谷歌在測試一種用于產(chǎn)生 HDR 圖像的算法時(shí)履磨,就利用該系統(tǒng)實(shí)時(shí)地捕捉到了標(biāo)準(zhǔn)數(shù)碼圖片丟失的細(xì)微顏色信息。
該軟件建立于 MIT 一個(gè)早期研究項(xiàng)目之上 —— 手機(jī)向服務(wù)器發(fā)送圖像的低分辨率版本庆尘,然后服務(wù)器會(huì)回傳一個(gè)「轉(zhuǎn)換方法」剃诅,在手機(jī)本地完成圖像高分辨率轉(zhuǎn)換,從而減少帶寬的消耗驶忌。
MIT 電氣工程和計(jì)算機(jī)科學(xué)研究生 Micha?l Gharbi 說:「Google 在了解我所做的項(xiàng)目后矛辕,他們自己也做了部分后續(xù)工作,所以我們和 Google 就開始了合作付魔。目前聊品,我們最新的算法跟之前項(xiàng)目有很多相似的地方,只不過這次不用傳送到云端處理几苍,而是讓手機(jī)去學(xué)習(xí)如何修飾圖片翻屈。」
Micha?l Gharbi 強(qiáng)調(diào)妻坝,算法進(jìn)行機(jī)器學(xué)習(xí)最重要的一點(diǎn)伸眶,就是提高它的速度和效率。
原始圖像(左)和經(jīng)過新算法處理后圖像(右)的對比
為了節(jié)省時(shí)間和能耗刽宪,大部分的圖像處理任務(wù)是在低分辨率的圖像上進(jìn)行的厘贼,這就引入了新的困難,因?yàn)楸匦枰獜牡拖袼貓D像中獲取高分辨率圖像像素點(diǎn)的顏色信息圣拄。
Micha?l Gharbi 和他的 MIT 同事用兩種方法解決了這個(gè)問題嘴秸。
第一,讓機(jī)器學(xué)習(xí)系統(tǒng)輸出一組用于修改圖像像素顏色的簡單公式庇谆,而不是單純的圖像赁遗,系統(tǒng)可根據(jù)輸出的公式來決定圖像修飾的結(jié)果。
第二族铆,為了將這些公式應(yīng)用于高分辨率圖像岩四,系統(tǒng)會(huì)輸出 16 * 16 * 8 的三維網(wǎng)格。網(wǎng)格 16 * 16 的一面對應(yīng)的是原圖像的像素位置哥攘,堆疊在其頂部的八層則對應(yīng)不同的像素強(qiáng)度剖煌,而網(wǎng)格中的每個(gè)單元格包含了確定原圖像顏色的修改公式。
換句話說逝淹,網(wǎng)格 16 * 16 的一面有許多單元耕姊,每一個(gè)單元代表高清圖片的幾千個(gè)像素,假設(shè)每一組公式對應(yīng)單元中央的一個(gè)位置栅葡,那么方塊內(nèi)每一個(gè)高清像素都是由四組公式?jīng)Q定的茉兰。
在對最終的結(jié)果進(jìn)行比較后,研究人員發(fā)現(xiàn)欣簇,該系統(tǒng)處理圖像所花的時(shí)間是 MIT 原始算法的十分之一规脸,是全分辨率 HDR 圖像處理系統(tǒng)的百分之一坯约。
「這項(xiàng)技術(shù)在移動(dòng)平臺(tái)上的圖像處理有著非常廣闊的應(yīng)用前景,」Google 的研究員 Jon Barron 說莫鸭,「用機(jī)器學(xué)習(xí)的方法處理計(jì)算機(jī)圖像方面的問題是很令人興奮的一件事闹丐,但也受到了移動(dòng)設(shè)備計(jì)算性能和續(xù)航上的限制。我們研究的算法則提供了一種避開這些問題的方式被因,從而提供令人矚目的卿拴、流暢的、實(shí)時(shí)的攝影體驗(yàn)梨与《榛ǎ」
值得一提的是,該系統(tǒng)有可能會(huì)應(yīng)用在未來的 Google Pixel 中粥鞋。Google 之前已經(jīng)使用了 HDR+ 算法航徙,從 Nexus 6 開始,就能夠在移動(dòng)設(shè)備上表現(xiàn)出更多的圖像細(xì)節(jié)信息陷虎。不過到踏,Google 的「計(jì)算機(jī)攝影學(xué)」主管 Marc Levoy 則說:「我們做的只是一些『皮毛』工作而已∩性常」