作者：李梅
编辑：陈彩娴
近日，深度学习领域的火热趋势——生成式AI，让我们见证了一场技术革命。无数预训练图像生成模型如雨后春笋般涌现，每一个模型都有其独特的风格和擅长领域。然而，在这个众多模型中，如何迅速找到满足个人创作需求的最佳匹配呢？正是为了解决这一问题，卡内基梅隆大学朱俊彦团队提出了基于内容的模型搜索算法。
这项创新算法允许用户输入文本、图像、草图或甚至另一个生成模型，然后系统会快速检索出最相似的相关深度图像生成模型。这一切得以实现，是通过将每个生成模型产生的样本分布转化为优化问题来实现，以最大化在给定查询的情况下生成与之匹配概率。
实验表明，这种基于内容的搜索方法不仅能显著提升速度（0.08毫秒），而且保持了高精度，对比传统蒙特卡洛方法提高了5倍。此外，该算法还能够支持多模态查询，如同时使用“Nicolas Cage”和“dog”，从而检索到能生成“Nicolas Cage dog”图片的StyleGAN-NADA 模型。
此外，该研究也揭示了不同网络特征空间中的性能差异。在某些情况下，CLIP表现尤为突出，而DINO和Inception则更适合艺术风格类别。而对于真实图像重构和编辑任务，该算法同样显示出强大的潜力，可根据需要进行逆映射或编辑操作。
尽管该研究取得显著成就，但仍存在一定局限性，如在处理抽象形状或复杂多模态查询时可能出现误判。但未来，这一基础工作对探索更多类型内容生成模式搜索提供了巨大启发，为未来的研究开辟了新的可能性。
