StyleDrop的灵感来源于Eyedropper(吸色/取色工具)。其魅力在于,只需要一张图无论多么复杂的艺术风格,都能解构再复刻。给定梵高的星空,AI便可以化身梵高大师,对这种抽象风格顶级理解后,做出无数幅类似的画作;给定一张卡通风,所绘制的物体就会呆萌起来;包括小朋友画的水彩画,都能完美把控,连纸张的褶皱都还原出来了。
StyleDrop不仅可以更可控地绘画,还可以完成之前难以想象的精细工作,比如绘制logo。除此之外,研究人员还拓展了StyleDrop的能力,不仅能定制风格,结合DreamBooth,还能定制内容。这让英伟达科学家也对其赞赏有加,将其称为“现象级”成果。
那么,StyleDrop又是如何实现它的神操作的呢?据研究人员介绍,StyleDrop是基于Muse构建的,由两个关键部分组成,包括一个生成视觉Transformer的参数有效微调和一个带反馈的迭代训练;研究人员再从两个微调模型中合成图像。