OpenAI研究 FFJORD:可扩展可逆生成模型的自由形式连续动力学
一类有前途的生成模型通过可逆神经网络将点从简单分布映射到复杂分布。这些模型的基于似然的训练需要限制它们的架构,以允许对雅可比行列式进行廉价计算。或者,如果变换由常微分方程指定,则可以使用雅可比迹。在本文中,我们使用 Hutchinson 的迹估计器来给出对数密度的可扩展无偏估计。结果是一个连续时间可逆生成模型,具有无偏密度估计和一次性采样,同时允许不受限制的神经网络架构。我们展示了我们在高维密度估计、图像生成和变分推理方面的方法,