皇璽會000013: INSIDE 硬塞的網路趨勢觀察影片一鍵變漫畫！Google Storyboard 會和 Prisma 一樣爆紅嗎？皇璽會 http://www.iwin688.com

2017年12月12日星期二

INSIDE 硬塞的網路趨勢觀察影片一鍵變漫畫！Google Storyboard 會和 Prisma 一樣爆紅嗎？皇璽會 http://www.iwin688.com

(Google Storyboard)

原文刊登於雷鋒網，INSIDE 獲授權轉載。

又一個好玩的 P 圖 app 來襲，這次還來自 Google 。

Google 今日發表 AI 圖像處理程式 Storyboard（Android）。該程式可以從影片中自動選取有趣的幀，然後將每幀的照片轉換為漫畫風格。目前有六種漫畫風格可選，轉換的時間只需要幾秒。

由於是第一個版本， Storyboard 功能還很單薄。用戶只能上傳影片然後等待轉換出來的效果，沒有辦法自己選擇畫格來安排漫畫的內容，也沒辦法進行後期編輯，例如加上文字，編寫漫畫故事。但是即使沒有這些功能， Storyboard 依然很可能洗版 Instagram、Facebook。

(Prisma)

Storyboard 與去年熱門的 Prisma 是異曲同工。

Prisma 能在十幾秒內將普通照片轉換成名畫風格。 Prisma 不僅深得用戶喜歡，其採用的黑科技也獲得業界的矚目。 Prisma 主要採用了 CNN（卷積神經網路技術）來將用戶上傳的圖片的內容和風格進行分離和重新組合，再將名畫的風格轉換到用戶圖片中。Prisma 火爆的原因在於其巧妙地利用了深度神經網路抽取高層圖片表達的能力，而之前非深度學習的方法只能獲取到目標圖片低層次的圖片特徵，無法獨立的對圖片的語意內容和風格的變化進行有效地建模和合成。

然而， Prisma 好景不長，和臉萌這一類工具類程式一樣，大家玩了一陣就膩了。如今， Prisma 將重心轉移到了 B2B，為開發者提供 SDK。

但是， Prisma 引爆的圖片藝術風格轉換的潮流卻沒有消退。人工智慧領域引起革命的深度學習技術已經將眾多任務推向了實用的水準，各大巨頭公司也積極佈局機器視覺和圖像處理領域。

在 Prisma 大流行的三個月後， Google 發表了一種新的遷移網路（來自其論文《A Learned Representation for Artistic Style》）同時學習多種風格的簡單方法，可以讓單個深度卷積風格遷移網路同時學習多種藝術風格。這種方法能實現即時的風格插補，不僅可以應用於靜態圖像，還可應用於影片中。

在實際使用中，用戶可使用 13 種不同的繪畫風格，通過滑動調整這些風格的相對強度。多種風格即時結合在一起，最後得到一個結果。與之前快速遷移風格的方法不同，這種同時建模多種風格的方法讓用戶能即時與風格遷移演算法進行互動，而且可以用多個風格的混合自由創造。

這次的 Storyboard 想必是 Google 對此技術的應用。

Prisma 專注於西方名畫，在名畫風格上有深度的積累， Google 選擇漫畫風格則是另辟蹊徑。從 Google 的技術積累來看， Storyboard不久應該就能迭代出編輯功能，用戶就可以根據自己的想法創作漫畫。

值得一提的是， Google 在今年 8 月還收購了一家俄羅斯電腦視覺公司 AIMatter，其主要產品是圖像濾鏡 Fabby。最強大的功能是「去背」，將照片中的對象從背景中區分出來，可以快速地跟換背景。除了美圖秀秀等圖片美化編輯器都有的降噪、化妝、臉部美容等，Fabby 還有性別辨識、臉部辨識等功能。

(AIMatter)

其實， Google 於 2015 年推出的 Google Photos 就應用了人工智慧，其人工神經網路訓練系統可以對大量的圖像數據進行搜尋，辨識照片中的人和物體。 Storyboard 或許也會應用在 Google Photos 中。

除 Google 以外， Facebook 也跟進了 AI 在圖像處理的應用。 2017 年 1 月，為了讓你在用手機拍攝影片時，有種手持梵古畫筆的奇妙感受， Facebook 首創了一個全新的深度學習行動平台 ——Caffe2go。利用 Caffe2go，處理的照片不用再上傳到伺服器，在手機上就能進行風格轉換演算法，完成對像素特徵的即時提取、分析和處理。Prisma 的圖片處理需要等待十幾秒，而有了 Caffe2go，Facebook 可以對拍攝的影片進行即時的風格轉換。但是從官方公佈的影片來看，每一幀的效果都不一樣，人物也變得模糊，效果並不好。