Attention-aware Multi-stroke Style Transfer

原文链接

  https://arxiv.org/abs/1901.05127

摘要

  在本文中,首先使用自注意力机制(self-attention mechanism)构建了一种风格事先未知的重构自编码器(reconstruction autoencoder),在这过程中可以得到原始图像的注意力图(attention map)。通过在内容feature和风格feature上进行多尺度的风格变换,produce出代表多种笔画模式(stroke pattern)的feature maps。之后使用了一种灵活的混合模式来从attention map中包含最重要的特点,使得不同的笔画模式(stroke pattern)和谐地组成输出图像的不同特殊区域。

引言

  现有的方法无法协调内容图和风格图之间视觉注意力的特殊分布。使用了相同的方式渲染风格化图像的不同区域(如前景和背景),导致了风格化不足(Style-Swap),未能预期的模式(AdaIN,StrokePrymaid),或者失真的注意力区域(WCT, Avatar-Net)。由于使用了注意力机制和多笔划融合策略,本文的方法可以,并保证和原图的关注区域不变。
  为了解决这些问题,本文引入了注意力一致性(即内容图和风格化的图视觉注意力分布的空间一致性)。具体来说,文中引入了自注意力机制来作为自编码器的互补,自注意力模块计算所有位置features的加权和作为一个位置的响应,来取得图像区域中长范围的独立性。通过自注意力机制的自编码器重构过程,attention map可以捕获任何内容图像中的最重要特征。将attention map注入多笔划的融合模块,和谐地合成不同的笔划模式,来实现空间比划大小的自动控制。
  本文的主要贡献:

 在自编码器框架中引入了自注意力机制
 提出了多尺度的风格交换
 通过结合attention map,提出了一种灵活的混合策略将不同的区域笔划模式和谐地混合

提出的方法

  训练和测试的过程如下图所示:
  
  训练时只需要原图像即可(不需要风格化的图像),构建一个自注意力模块,得到attention map。测试时只需要(一张)风格图作为输入,通过多尺度笔划的融合完成风格转换。图中fc表示内容feature,fs表示风格feature,Ac表示attention map。自注意力模块通过内容feature生成attention map。

发表评论

电子邮件地址不会被公开。 必填项已用*标注