OpenAI研究 基于解码器的生成模型的量化分析
在过去的几年里，生成模型取得了显着进步，生成令人信服的图像样本和其他模态。许多强大的生成模型的共享组件是解码器网络，这是一个定义生成分布的参数化深度神经网络。示例包括变分自动编码器、生成对抗网络和生成矩匹配网络。不幸的是，由于对数似然估计的难处理性，很难量化这些模型的性能，而且检查样本可能会产生误导。我们建议使用退火重要性采样来评估基于解码器的模型的对数似然，并使用双向蒙特卡洛验证其准确性。评估代码在此 https URL中提供 . 使用这种技术，我们分析了基于解码器的模型的性能、现有对数似然估计器的有效性、过度拟合的程度，以及这些模型错过重要数据分布模式的程度。
相关文章
近期评论
-
来自： GPT-4V（ision）系统卡
-
来自： GPT-4V（ision）系统卡
-
来自： OpenAI研究 用对抗样本攻击机器学习