OpenAI研究 通过离散逻辑混合似然和其他修改改进 PixelCNN
PixelCNN 是最近提出的一类具有易处理似然性的强大生成模型。在这里,我们讨论我们在这个 https URL上提供的 PixelCNNs 的实现 . 我们的实现包含对原始模型的一些修改,这些修改既简化了它的结构,又提高了它的性能。1) 我们在像素上使用离散逻辑混合似然,而不是 256 路 softmax,我们发现后者可以加快训练速度。2) 我们以整个像素为条件,而不是 R/G/B 子像素,简化了模型结构。3)我们使用下采样来有效地捕获多种分辨率的结构。4) 我们引入了额外的快捷连接以进一步加速优化。5) 我们使用 dropout 对模型进行正则化。最后,我们在 CIFAR-10 上展示了最先进的对数似然结果,以证明这些修改的有用性。