OpenAI 学者 2020：最终项目
这些项目调查了诸如分析 GPT-2 如何表示语法、测量在 Coinrun 上训练的模型的可解释性以及使用大脑记录预测癫痫发作等问题。有关下一届学者的更多信息以及如何申请将于今年秋季公布。
OpenAI 学者 计划为代表性不足的群体中的个人提供津贴和指导，以研究深度学习和开源项目。
我们的学者已经展示了跨越各个专家领域的核心技术技能和自我激励——对于像这样的自主项目来说至关重要的能力。他们每个人都作为相对较新的人进入机器学习领域，我们希望他们的进步表明机器学习是多么容易获得。
详细了解我们的 学者计划。
最终项目
阿勒西娅力量
导师：克里斯汀·佩恩
Alethea Power 的社交链接
在所有正确的地方寻找语法
我对神经网络的可解释性着迷。了解各种架构的网络如何表示信息可以帮助我们构建更简单、更高效的网络，并预测我们构建的网络将如何运行，甚至可能让我们对人类的思维方式有所了解。沿着这些思路，我分析了 GPT-2 如何表示英语语法，并发现了似乎对应于各种语法结构的更小的子网络。我将介绍我的方法和结果。
曾担任职务： 爱丁堡应用数学学士、心灵哲学理学硕士、Facebook 软件和站点可靠性工程师
有趣的学习： “我对开始深度学习研究的人的建议是花时间理解基础论文中的见解，并记住该领域仍然相对较新。个人有很大的空间可以产生巨大的影响。”
安德烈·卡雷拉
导师：梅兰妮·苏比亚
Andre Carerra 的社交链接
语义解析英语到 GraphQL
我的学者计划项目是语义解析 English-to-GraphQL。给定一个英文提示，比如“How many employees do we have?”，找到对应的 GraphQL 查询返回信息。该项目涉及创建数据集、训练模型和创建交互工具以查看结果。
曾任职务： Droplii 首席技术官，Lambdo 创始人
有趣的学习： “我想就人工智能的形成方式发表意见——学者计划是学习和参与的绝佳机会。”
叶凯茜
导师：杰里·特沃雷克
Cathy Yeh 的社交链接
具有时间奖励传输的长期信用分配
标准强化学习算法在存在稀疏奖励且动作和效果之间存在长时间延迟的情况下，样本效率低下。为了解决长期信用分配问题，我们使用“时间奖励传输”（TRT）来增加重要状态-动作对的即时奖励和来自遥远未来的奖励，并使用注意力机制来识别 TRT 的候选对象。一系列 gridworld 实验表明，当 TRT 与标准优势演员评论算法结合使用时，学习有了明显的改进。
以前的角色： Square and Driver 的数据科学家
有趣的学习： “我很感激这个项目给了我深入学习和发挥创造力的自由。”
豪尔赫奥贝
导师：卡尔·科布
Jorge Orbay 的社交链接
量化在 Coinrun 上训练的模型的可解释性
该项目的目的是创建一个标量来衡量在 Procgen 的 Coinrun 上训练的 A2C 模型的可解释性。标量是结合模型属性和 Coinrun 资产掩码生成的。标量用于检验多样性假设的有效性。
以前的职位： 哥伦比亚大学的 CS 工程，Creative Machines Lab 的研究，Autonomic 的软件工程师
有趣的学习： “这个项目，特别是我的导师，培养了我的自信，让我能够深入到我不了解的领域，分解问题，直到我能解决它们。我希望利用从这个项目中学到的自信，继续用 AI 解决问题。”
卡马尔·恩杜斯
导师：娜塔莎·贾克斯
Kamal Ndousse 的社交链接
独立多主体强化学习中的社会学习
我的项目探索了在共享环境中训练的完全独立的 RL 代理之间专业知识的社会转移。激发灵感的问题是新手代理是否可以学习模仿专家的行为来解决他们无法单独掌握的艰巨探索任务。我将讨论我的观察结果以及我为试验社交技能转移而开发的环境。
曾任职务： 麻省理工学院的数学和物理，Fitbit 的算法研究科学家，独立算法/ML 顾问，Coinbase 的 ML 工程师
有趣的学习： “我加入学者计划是为了向 OpenAI 的杰出人士学习，并让自己沉浸在 AI 研究中。我很高兴有机会在这些才华横溢的研究人员的支持下探索最先进的研究（特别感谢我的导师 Natasha Jaques！） ”
斯拉玛说
导师：约翰内斯·奥特巴赫
Kata Slama 的社交链接
利用深度网络预测癫痫发作
我一直致力于一个项目，使用大脑记录来预测癫痫发作。我将其框定为基于大脑数据的频谱图表示的图像分类问题。到目前为止，我最成功的模型是 ResNet18。在我的后学者生活中，我计划继续从事这个项目，并在频谱图分类网络的可解释性方面取得进展。
曾任职务： 加州大学伯克利分校神经科学博士，哈佛大学和布朗大学行为研究
有趣的学习： “我想学习如何应用深度学习来解决科学和现实世界的问题。OpenAI 学者计划是一个神奇的机会，可以从该领域最优秀的人才那里学习。”
帕梅拉·米什金
导师：亚历克·拉德福德
Pamela Mishkin 的社交链接
普遍的对抗性扰动和语言模型
对抗性扰动对于图像来说是很好理解的，但对于语言来说则不然。我的演讲将回顾有关通用对抗性示例如何为理解生成模型、复制结果生成 GPT-2 和攻击 NLI 模型的通用对抗性触发器的文献。
曾任职务： 威廉姆斯学院数学和计算机科学、纽约联邦储备银行研究分析师、剑桥大学赫歇尔·史密斯学者、The Whistle 产品经理、Lumi Labs 研究员
有趣的学习： “这个项目加强了我在机器学习方面的技术基础，帮助我了解人工智能研究人员如何理解他们工作的政策影响。”
相关文章
近期评论
-
来自： GPT-4V（ision）系统卡
-
来自： GPT-4V（ision）系统卡
-
来自： OpenAI研究 用对抗样本攻击机器学习