文中提出一个
生成和过滤（generate-and-filter）
的pipeline，从最先进的模型中提取了一千多个训练实例，覆盖范围包含人物的照片、商标的公司标志等等。并且还在不同的环境中训练了数百个扩散模型，以分析不同的建模和数据决定如何影响隐私。
总的来说，实验结果显示，扩散模型对训练集的隐私保护比之前的生成模型（如GANs）要差得多。
记了，但记得不多
去噪扩散模型（denoising diffusion model）是近期兴起的新型生成式神经网络，通过迭代去噪的过程从训练分布中生成图像，比之前常用的GAN或VAE模型生成效果更好，并且更容易扩展模型和控制图像生成，所以也迅速成为了各种高分辨率图像生成的主流方法。
尤其是OpenAI发布DALL-E 2之后，扩散模型迅速火爆了整个AI生成领域。
生成式扩散模型的吸引力源于其合成表面上与训练集中的任何东西都不同的新图像的能力，事实上，过去的大规模训练工作「没有发现过拟合的问题」，而
隐私敏感领域（privacy sensitive domain）的研究人员甚至提出，扩散模型可以通过合成图像来「保护真实图像的隐私」
。
不过这些工作都依赖于一个假设：
即扩散模型不会记忆并再次生成训练数据
，否则就会违反隐私保证，并引起诸多关于模型泛化和数字伪造（digital forgery）的问题。
但事实果真如此吗？
要想判断生成的图像是否来自于训练集，首先需要定义
什么是「记忆」（memorization）
。
之前的相关工作主要集中在文本语言模型上，如果模型能够逐字从训练集中恢复一个逐字记录的序列，那么这个序列就被称为「提取」和「记忆」了；但因为这项工作是基于高分辨率的图像，所以逐字逐句匹配的记忆定义并不适合。
下面是研究人员定义的一个基于图像相似性度量的记忆。
如果一个生成的图像x，并且与训练集中多个样本之间的距离（distance）小于给定阈值，那么该样本就被视为从训练集中得到的，即Eidetic Memorization.
然后，文中设计了一个两阶段的
数据抽取攻击（data extraction attack）
方法：
1. 生成大量图像
第一步虽然很简单，但计算成本很高：使用选定的prompt作为输入，以黑盒的方式生成图像。
研究人员为每个文本提示生成500张候选图像以增加发现记忆的几率。
2. 进行Membership Inference
把那些疑似是根据训练集记忆生成的图像标记出来。
研究人员设计的成员推理攻击策略基于以下思路：对于两个不同的随机初始种子，扩散模型生成的两张图像相似概率会很大，并且有可能在距离度量下被认为是根据记忆生成的。
抽取结果
为了评估攻击效果，研究人员从训练数据集中选择了35万个重复率最高的例子，并为每个提示生成500张候选图像（总共生成了1.75亿张图像）。
首先对所有这些生成的图像进行排序，通过在团（clique）中的图像之间的平均距离来识别那些可能通过记忆训练数据生成的图像。
然后把这些生成的图像与训练图像进行比较，将每张图像标注为「extracted」和「not extracted」，最终发现了94张疑似从训练集中抽取的图像。
通过视觉分析，将排名top 1000的图片手动标注为「memorized」或「not memorized」，其中发现还有13张图片是通过复制训练样本生成的。
总的来说，这篇论文强调了日益强大的生成模型和数据隐私之间的矛盾，并提出了关于扩散模型如何工作以及如何负责任地部署它们的问题。
版权问题
从技术上来讲，重建（reconstruction）正是扩散模型的优势；但从版权上来说，重建就是软肋。
由于扩散模型生成的图像与训练数据之间的过于相似，艺术家们对自己的版权问题进行了各种争论。
比如禁止AI使用自己的作品进行训练，发布的作品添加大量水印等等；并且Stable Diffusion也已经宣布，它计划下一步只使用包含已授权内容的训练数据集，并提供了一个艺术家退出机制。
在NLP领域同样面临这个问题，有网友表示自1993年以来已经发布了数百万字的文本，而包括ChatGPT-3等所有AI都是在「被偷走的内容」上训练的，使用基于AI的生成模型都是不道德的。
虽说天下文章一大抄，但对普通人来说，抄袭只是一种可有可无的捷径；而对创造者来说，被抄袭的内容却是他们的心血。
在未来，扩散模型还会有优势吗？
参考资料：https://arxiv.org/abs/2301.13188
