OpenAI研究 变分有损自动编码器
表征学习试图在学习表征中揭示观察到的数据的某些方面,这种表征适用于分类等下游任务。例如,2D 图像的良好表示可能是仅描述全局结构并丢弃有关详细纹理的信息。在本文中,我们提出了一种简单但有原则的方法,通过将变分自动编码器 (VAE) 与神经自回归模型(如 RNN、MADE 和 PixelRNN/CNN)相结合来学习此类全局表示。我们提出的 VAE 模型允许我们控制全局潜在代码可以学习的内容,并且通过相应地设计架构,我们可以强制全局潜在代码丢弃不相关的信息,例如 2D 图像中的纹理,因此 VAE 仅“自动编码” " 以有损方式传输的数据。