OpenAI研究 GPT-2：6 个月的随访
在 2 月发布小型 124M 模型、5 月分阶段发布355M 中型模型 ，以及随后与合作伙伴和 AI 社区对该模型被滥用和滥用的可能性进行研究之后，我们将发布 7.74 亿参数的 GPT-2 语言模型。社会效益。我们还发布了一项开源法律协议，使组织更容易彼此建立模型共享伙伴关系，并发布了一份技术报告，介绍我们在与更广泛的 AI 研究社区就出版规范进行协调方面的经验。
我们学到的关键事情
1. 协调是困难的，但也是可能的。迄今为止，还没有公开发布 1558M 参数语言模型，尽管多个组织已经开发了系统来训练它们，或者公开讨论了如何训练更大的模型。例如，NLP 开发人员 Hugging Face 和 华盛顿大学 艾伦人工智能研究所(AI2) 的团队都明确采用了与我们类似的分阶段发布方法。自 2 月以来，我们已经与超过五个复制 GPT-2 的团队进行了交谈。A[A]
进行这些对话很困难，因为它涉及坦诚地谈论专有系统，并且不清楚在特定组织中与谁联系以讨论此类模型以及组织间讨论未发布研究的适当流程是什么。
2.人类可以被合成文本说服。我们的研究合作伙伴康奈尔大学的 Sarah Kreps 和 Miles McCain 在 《外交事务》上发表的 研究表明，人们发现 GPT-2 合成文本样本几乎与《纽约时报》的真实文章一样令人信服（一组中 72% 的人认为这些文章是可信的）（ 83%）。乙[乙]
这些样本是通过“人在环路”过程生成的，旨在模拟当代的虚假信息操作，其中人类生成样本并定期选择一些样本以暴露给人们。
3.检测不简单。在实践中，我们希望检测器需要检测出相当一部分误报率非常低的世代。恶意行为者可能会使用各种采样技术（包括拒绝采样）或微调模型来逃避检测方法。一个部署的系统可能需要在不同的世代上都具有很高的准确性 (99.9%–99.99%)。我们的研究表明，当前基于 ML 的方法只能达到 90 年代中期的低准确度，并且微调语言模型会进一步降低准确度。有前景的前进道路（尤其是“ GROVER”）但这是一个真正困难的研究问题。我们认为，文本的统计检测需要辅以人类判断和与文本相关的元数据，才能有效打击语言模型的滥用。
伙伴关系
我们与四家领先的研究机构合作，对新发布的 774M 参数 GPT-2 模型和未发布的全尺寸 GPT-2 模型进行了分析。我们在技术报告中包含了他们的一些初步结果，他们正在进行的分析将考虑 1558M 模型的潜在发布。我们还制定了一项非商业法律协议，以促进组织之间的模型共享，并在此处发布它以帮助其他人发起此类共享计划。
- 康奈尔大学 正在研究人类对语言模型生成的数字虚假信息的敏感性。
- 米德尔伯里国际 恐怖主义、极端主义和反恐研究中心 (CTEC) 正在探索 GPT-2 如何被恐怖分子和极端分子在线滥用。
- 俄勒冈大学 正在开发一系列“偏差探针”来分析 GPT-2 中的偏差。
- 德克萨斯大学奥斯汀分校 正在研究在特定领域数据集上微调模型后 GPT-2 输出的统计可检测性，以及跨不同语言模型的检测转移程度。
未来的发布决定
这些合作伙伴的研究将影响我们未来的发布决策，观察 774M 模型的使用方式，以及与研究人员和政策制定者讨论语言模型以了解围绕更大模型的考虑因素。作为我们分阶段发布策略的一部分，我们目前的计划是在几个月内发布 1558M 参数模型，但合作伙伴的发现或对我们 774M 模型的恶意使用可能会改变这一点。
我们认为分阶段发布和基于伙伴关系的模型共享的结合可能是 AI 负责任发布的关键基础，特别是在强大的生成模型的背景下。随着时间的推移，大型模型固有的问题将会增加，而不是减少。我们希望我们在 GPT-2 上的工作（在 我们发布的技术报告中进一步讨论）将有助于提供证据，供 AI 社区在思考 AI 研究的某些部分固有的出版挑战时可以借鉴。
时间线
2019
行进The Partnership on AI 与 OpenAI 共同举办了一场晚宴，讨论 出版规范，然后发布了一篇博客总结讨论。
2019
可能发布中参数（355M）型号。
发布了大型模型输出的数据集。
发布检测基线以帮助人们了解如何检测 GPT-2 等模型的输出。
更新原始博客文章 以反映这些更改。
Adam King 推出 “TalktoTransformer.com”，为人们提供了一个可以玩新发布模型的界面。
Hugging Face 发布了一个基于 GPT-2 模型的对话式 AI demo，讨论了发布决定中的一些伦理考量，决定 不发布大型 GPT-2 模型。
华盛顿大学和艾伦人工智能研究所的研究人员 揭示了 GROVER，一种 GPT-2 风格的语言模型；他们不发布模型的大版本，而是对检测此类模型的输出进行研究。
2019
六月OpenAI 在国会就 合成媒体的影响作证，包括对合成文本的讨论。
DeepMind 在最近关于无监督学习的讨论中讨论了 GPT-2 以及生成模型的适当发布规范的重要性 。
OpenAI 开始与AI 伙伴关系研究合作， 以制定 AI 研究的出版规范。我们正在尝试与各种 AI 研究组织合作，提出科学家在发表前可能想问的问题，以及他们可以用来做出发表决定的潜在框架。
2019
七月2019
八月Thoughtful Technology Project 和剑桥大学的研究人员发表了一篇关于“减少恶意使用合成媒体研究：机器学习的考虑因素和潜在发布实践”的工作论文。
您好，我是 GPT-2——有什么可以帮到您的吗？面向任务的对话系统使用预训练语言模型
人工智能初创公司 AI21 Labs 发布 神经文本生成器HAIM ；他们只发布了该模型的 345M 变体，“大小相当于公开发布的 Grover 和 GPT-2 版本。”
NVIDIA Research 训练了 83 亿参数的 GPT-2 模型。
发布更大参数（774M）型号。
相关文章
近期评论
-
来自： GPT-4V（ision）系统卡
-
来自： GPT-4V（ision）系统卡
-
来自： OpenAI研究 用对抗样本攻击机器学习