OpenAI研究 权重归一化：一个简单的重新参数化，以加速深度神经网络的训练
我们提出了权重归一化：神经网络中权重向量的重新参数化，将这些权重向量的长度与其方向分离。通过以这种方式重新参数化权重，我们改进了优化问题的条件，并加快了随机梯度下降的收敛。我们的重新参数化受到批量规范化的启发，但不会在小批量中的示例之间引入任何依赖关系。这意味着我们的方法也可以成功地应用于循环模型，如LSTM和噪声敏感应用，如深度强化学习或生成模型，批量归一化不太适合这些应用。虽然我们的方法要简单得多，但它仍然提供了全批量归一化的大部分加速。此外，我们方法的计算开销较低，允许在相同的时间内采取更多的优化步骤。我们证明了我们的方法在监督图像识别、生成建模和深度强化学习中的应用的有效性。
相关文章
近期评论
-
来自： GPT-4V（ision）系统卡
-
来自： GPT-4V（ision）系统卡
-
来自： OpenAI研究 用对抗样本攻击机器学习