转载

OpenAI 显微镜

我们正在推出 OpenAI 显微镜，它是八种视觉“模型生物”的每个重要层和神经元的可视化集合，通常在可解释性方面进行研究。显微镜使分析这些神经网络内部形成的特征变得更加容易，我们希望它能在我们理解这些复杂系统的过程中帮助研究界。

现代神经网络的能力是成千上万个神经元（有时是数万个或更多！）相互作用的结果。为了了解它们的行为，我们希望能够快速轻松地详细研究这些神经元的相互作用，并分享这些观察结果。在协作环境中尤其如此。例如，一位研究人员可能会推测：

InceptionV1 4c:447是一个汽车检测器，它由一个车轮检测器 ( 4b:373 ) 和一个窗户检测器 ( 4b:237 ) 构建而成。

当有人做出这样的声明时，如果其他人可以快速探索这些神经元、评估声明并发现新事物，这将很有用。这就是 OpenAI 显微镜的目标。

显微镜系统地可视化几种常用视觉模型中的每个神经元，并使所有这些神经元都可以链接。我们希望这将以多种方式支持可解释性社区：

尽管这些模型和可视化已经开源（我们帮助维护 lucid 库，它用于在 Microscope 中生成所有可视化），但可视化神经元是乏味的。显微镜将探索神经元的反馈回路从几分钟变为几秒钟。这种快速反馈回路对于我们在正在进行的电路项目中发现意想不到的功能（如高低频检测器）至关重要。
使模型和神经元可链接可以立即审查和进一步探索对这些神经元提出主张的研究。它还消除了关于正在讨论哪个模型和神经元的潜在混淆（我们又在谈论 InceptionV1 的五个版本中的哪一个？）。这对协作非常有帮助，尤其是当研究人员在不同机构时。
作为 ML 的一个领域，可解释性的一个美妙之处在于它的可访问性。与许多其他领域相比，它需要相对较少的计算访问权限。但是系统地可视化神经网络仍然需要数百个 GPU 小时。我们希望，通过分享我们的可视化效果，我们可以帮助保持高度可解释性。

正如生物学家通常专注于研究少数“模型生物”一样，显微镜专注于对少数模型进行详细探索。我们的初始版本包括九个经常研究的视觉模型，以及我们发现在研究它们时特别有用的几种可视化技术。我们计划在未来几个月内扩展到其他模型和技术。

我们很高兴看到社区将如何使用 Microscope，我们鼓励您重复使用这些资产。特别是，我们认为它在支持Circuits 协作（一个通过分析单个神经元及其连接来逆向工程神经网络的项目）或类似工作方面具有很大潜力。