照片也变脸,NVIDIA FastPhotoStyle 演算法将氛围转移到另一张

2020-07-23  阅读 592 次

照片也变脸,NVIDIA FastPhotoStyle 演算法将氛围转移到另一张

想必各位读者多少都有注意到,先前有开发者利用 AI 与图像处理技术,将成人影片中女主角的脸与明星交换,达到「变脸」的效果。这次 NVIDIA 释出的 FastPhotoStyle 演算法,则能分析来源照片的风格,并套用至目标照片,能让目标照片保有原本的景色并染上不同风格,创造出更精彩的照片。

照片风格也能转移

照片风格转移演算法的用意,在于将来源照片的风格与目标照片的景色融合为一,让合成产生的新照片能保有原本的景色,并套上不同风格。虽然目前已有许多现成演算法能达到这功能,但效果并不一定理想,有时还会造成图像错误的情况。且这些演算法往往相当吃运算资源,一张解析度为 640×480 的照片可能就需花费好几分钟来处理。

加州大学默塞德分校(University of California, Merced)与 NVIDIA 研究团队为了改善这些问题,一起研发了创新的 FastPhotoStyle 演算法。

FastPhotoStyle 会将处理程序拆分为风格转化(Stylization)与平滑化(Smoothing)等两步骤,在风格转化阶段,程式会分析来源照片的风格,并套用至目标照片。接下来的平滑化阶段,程式则会强化图片空间的一致性,发挥降低破绽的效果。

照片也变脸,NVIDIA FastPhotoStyle 演算法将氛围转移到另一张

照片也变脸,NVIDIA FastPhotoStyle 演算法将氛围转移到另一张

照片也变脸,NVIDIA FastPhotoStyle 演算法将氛围转移到另一张

60 倍速超高效率

FastPhotoStyle 演算法会在风格转化阶段输入来源、目标等两张照片,然后对其进行 Photo WCT 转换(Whitening and Coloring Transform),如此一来便能得到中继照片。这时候中继照片已经具有来源的风格,但是会因为合成影像的关係,让画面产生鬼影与失真。

接下来的平滑化阶段,需要让输出的照片看起来更自然,为了达到这个需求,演算法会输入目标、中继照片,并比对图中邻近的区域,将相近的像素套入相同的风格,让画面更为滑顺,接下来则是避免平滑化让结果偏离 Photo WCT,以维持整体风格。

照片也变脸,NVIDIA FastPhotoStyle 演算法将氛围转移到另一张

照片也变脸,NVIDIA FastPhotoStyle 演算法将氛围转移到另一张

与现有演算法最大的不同是,FastPhotoStyle 并不需经过更新运算的过程,每个步骤独立进行,能够让处理速度提升 60 倍,并能在研究中以人眼分辨的测试中,获得 2 倍优于目前演算法的评价。

NVIDIA 将 FastPhotoStyle 演算法以开源方式释出,有兴趣尝试的读者可以至 GitHub 下载程式,或是阅读 A Closed-form Solution to Photorealistic Image Stylization 白皮书。

上一篇:
下一篇: