没想到吧，让你一秒变纸片人的爆火AI特效，背后还有这么多知识点

文章插图

鱼羊发自凹非寺
量子位报道 | 公众号 QbitAI

要说现在什么AI技术跟大家伙儿走得最近，那真是非AI特效玩法莫属。
想整张手绘头像，无需点亮绘画技能，拿起手机打开APP拍张照， AI“秒秒钟”帮你自动搞定。
△快手“手绘封面”特效
并且早已不仅仅局限于单张照片，短视频的每一帧都能用这样的麻瓜“魔法”丝滑覆盖。

各种艺术风格，只有你想不到，没有AI做不到。
不过，别看这些特效滤镜层出不穷，动不动掀起一波网络狂欢，从一个模型的诞生到它真正走进你的手机，那背后的故事还真不是三言两语就能轻松说完的。
特效是怎么进到手机里的？不妨以快手爆火的手绘特效为例，详细唠唠这件事。
首先，自然还是算法层面的一系列操作。
从用户拍摄视频/照片，到AI的“手绘作品”输出，在AI看来大致是这样一个流程：
ISP将处理好的视频/照片发送给App ， AI接收到需要处理的画面，就会预先对每一帧画面进行预处理，统一格式和尺寸。
接下来，就可以开始侦测并剪切画面中的人脸，运用已经定制好风格的“艺术家”神经网络（如U-Net等）对其进行加工。
这一步生成的手绘效果与输入帧进一步融合之后，手绘特效就初步完成了。
当然，在正式输出之前，每一帧画面还得经过一道化妆和美颜的步骤，来提升整体图像的质量。
这时候可能有盆友会问了，现在各种开源生成算法都很成熟，直接搬到手机里，何难之有啊？
非也非也。
且不说为了最大程度保留用户本人的五官和外形特征，同时兼顾手绘风格的美学和艺术效果，需要在整体风格和局部细节上对AI模型进行更加严苛的调教，对于快手这样的App来说，训练出一个稳定好用的模型往往还只是第一步 。
更大的困难其实在于手机这个载体本身。
手机作为移动端设备，本身算力有限。也就是说， AI的手绘能力越强大、技术越复杂，对于手机来说，想要流畅不卡顿地运行它，就越困难。
【没想到吧，让你一秒变纸片人的爆火AI特效，背后还有这么多知识点】而对于咱用户来说，如果一开特效就是一顿卡卡卡卡卡，电量哐哐掉，那也就没有什么乐趣可言了。
另外，像手绘滤镜这样的算法，默认是在手机CPU上运行的。CPU是一个通用计算单元，本身也并非运行AI工作负载的最佳选择。
怎么解决？大体上有如下三种思路。
第一种思路 ，还是从算法上着手，对模型进行压缩。以快手为例， AI滤镜背后就都有定制化模型压缩算法的加持，使其可以在考量各种边界条件、有限的计算和内存资源条件下，把模型计算量降到最低。
不过再怎么在算法上优化，硬件层面的限制仍然是无法绕开的问题。
于是就有了第二种思路 ，上云。许多App提供商都会选择在云端进行复杂的AI处理，以解决移动端算力不足带来的挑战。

以上关于本文的内容，仅作参考！温馨提示：如遇健康、疾病相关的问题，请您及时就医或请专业人士给予相关指导!

「四川龙网」www.sichuanlong.com小编还为您精选了以下内容，希望对您有所帮助：