澳门凯旋门官方网址;互联网原子弹,算力吞噬者:1750 亿参数的 AI 模型 GPT-3 引爆硅谷

文章正文
2020-08-01 12:04

这几天惊扰硅谷的 GPT-3 是什么来头?

信任不太体会 AI 的伴侣这几天也或多或少看到了一些关于 GPT-3 的重磅音讯,澳门凯旋门官方网址;乃至有媒体称其为 “继比特币之后又一个惊扰环球的征象级新手艺”。

请留神,现在站在你眼前的是:互联网原枪弹,人工智能界的卡丽熙,算力吞噬者,黄仁勋的新 KPI ,下岗工人制造机,少小期的天网 —— 最前辈的 AI 语言模型 GPT-3。

1750 亿参数组成的训练模型

言归正传,OpenAI 的钻研职员在上个月颁发了一篇论文,描述了 GPT-3 的开发,正式发布了这个由 1750 亿个参数组成的 AI 语言模型

在 NLP 领域中,通常采用 ELMo 算法的思惟,即通过在大量的语料上预训练语言模型,然后再将预训练好的模型迁移到详细的下流NLP任务,从而进步模型的才能。GPT 模型是 OpenAI 在 2018 年提出的一种新的 ELMo 算法模型,该模型在预训练模型的根底上,只必要做一些微调即可直接迁移到各种 NLP 使射中,因而具有很强的营业迁移才能。

GPT 模型主要包罗两个阶段。第一个阶段,先使用大量未标注的语料预训练一个语言模型,接着,在第二个阶段对预训练好的语言模型停止微改,将其迁移到各种有监视的 NLP 任务,并对参数停止 fine-tuning。

简而言之,在算法固定的环境下,预训练模型利用的训练资料越多,则训练好的模型任务完成精确率也就越高。

那么 1750 亿是什么概念?曾有人开玩笑说,“要想进步 AI 的精确率,让它把所有的测试数据都记下来不就行了?” 没想到如今真有人奔着这个宗旨去做了……

在 GPT-3 之前,最大的 AI 语言模型是微软在本年 2 月推出的 Turing NLG,其时领有 170 亿参数的 Turing NLG 已经标榜是第二名 Megatron-LM 的两倍。没错,仅短短 5 个月的工夫,GPT-3 就将头号玩家的参数进步了 10 倍!Nivdia 的黄夙儒板看了看年头年月刚画的产品算力曲线,发现事变并不简略。

OpenAI 曾于 2019 年头年月发布 GPT-2,这一基于 Transformer 的大型语言模型共包罗 15 亿参数、在一个 800 万网页数据集上训练而组成,这在其时就已经引起了不小的惊扰。整个 2019 年,GPT-2 都是 NLP 界最耀眼的明星之一,与 BERT、Transformer XL、XLNet 等大型自然语言解决模型轮流在各大自然语言解决任务排行榜上刷新最佳纪录。而 GPT-2 得益于其不变、优良的性能在业界独领风骚。

而 GPT-3 的参数量足足是 GPT-2 的 116 倍,实现了对整个 2019 年的所有大型自然语言解决模型的降维打击。

算力杀手

GPT-3 的论文长达 72 页,作者多达 31 人。来自 OpenAI、约翰霍普金斯大学的 Dario Amodei 等钻研职员证了然在 GPT-3 中,对于所有任务,模型无需停止任何梯度更新或微调,而仅通过与模型的文本交互指定任务和少量示例即可取得很好的效果。

GPT-3 在许多 NLP 数据集上均具有杰出的性能,包孕翻译、问答和文本填空任务,这还包孕一些必要即时推理或领域顺应的任务,比方给一句话中的单词替代成同义词,或执行 3 位数的数学运算。

当然,GPT-3 也能够天生新闻报道,通俗人很难将其天生的新闻报道与人类写的区离开来。是不是细思极恐?

通常来说,自然语言解决任务的范围从天生新闻报道到语言翻译,再到答复尺度化的测试问题。那么训练这个庞然大物必要凵多少资本呢?

OpenAI 方面体现: “我们在 cuDNN 加速的 PyTorch 深度学习框架上训练所有AI模型。每个模型的切确架构参数都是基于 GPU 的模型规划中的计算效率和负载均衡来选择的。所有模型都在微软提供的高带宽集群中的 NVIDIA V100 GPU 上停止训练。”

依照微软早前公布的信息,我们发现微软给 OpenAI 提供的这台超级计算机是一个统一的体系,该体系领有超过 285000 个 CPU 核心,10000 个 GPU 和每秒 400G 的搜集,是一台排名环球前 5 的超级计算机。

GPT-3 就是在微软这霸道的 “无穷算力” 加持下诞生的,据悉其训练老本约为 1200 万美圆。

有什么用?

既然训练 GPT-3 必要如斯苛刻的超级状况,民间的什么 2080 Ti、线程扯破者等家用级设施自然都是弟弟,那么我们通俗用户要怎么来用这个玩意儿呢?

目前,OpenAI 开放了少量 GPT-3 的 API 测试资格,商业公司、钻研学者和小我开发者都能够申请,取得资格的用户能够通过远程挪用的体例体验 GPT-3 的强大。当然,这个资格并不容易拿到……

在国外,“ 拿到 GPT-3 测试资格 ” 已经成为了一个“炫富”的新梗……

当然也有早期胜利抢到测试资格的用户。由于 GPT-3 是一个史无前例的宏大语言模型,所以简直所有能够用文字表达的工作它都能胜任,你能够领导它答复问题、写文章、写诗歌、乃至写代码。

起首来看最根本的语言表达功能,下面是网友用 GPT-3 开发的自动回复邮件工具,只必要输入几个简要的回复关键词,GPT-3 就能自动天生一篇文笔流利的回复邮件:

更深切一些,下面这位名叫 yash 的网友用 GPT-3 开发了一个 Python 驱动的财务报表,它能够将一样平时语言转换成 Python 代码来创建资产负载表:输入“我今天投入了两万美圆”、“后三个月的房租预付了 900 美圆”如许的自然语言,程序就能自动批改资产欠债表上响应的项目数值。

网友 Faraar Nishtar 挪用 GPT-3 写了一个小工具,能直接输入自然文字天生他想要的 SQL 查询代码:

网友 Sharif Shameem 开发出了一个新产品 Debuild。这是一个挪用了 GPT-3 API 的网页 app 快速天生器,在输入框里用自然语言停止描述,它就能够快速输出你想要的用户界面,好比输入“天生一个像西瓜一样的按钮”:

对于产品司理或前端设计师,只必要在设计软件 Figma 中参加 GPT-3 插件,就能够打字天生你想要的前端效果:

也有开发者给 GPT-3 做了图灵测试,结果发现它的答复很有意思:

“若是在十年前用同样的问题做测试,我会以为答题者必然是人。现在,我们不能再认为 AI 答复不了常识性的问题了。”

前人云,“熟读唐诗三百首,不会作诗也会吟。” 从人类汗青到软件代码,宏大的 GPT-3 模型囊括了互联网中很大一局部用文字记录下来的人类文明,这些记录培养了其强大的文字任务解决才能。

AI 语言模型参数量级近年来呈指数倍开展,随着在摩尔定律下人类设施算力的提拔,在未来的某一天,或许真的将会出现一个无穷接近熟读人类汗青所有文明记录的超级模型,届时是否会诞生出一个真正的人工智能呢?

最后引用神经搜集之父、图灵奖取得者 Geoffrey Hinton 早前对 GPT-3 的一番评论:

“ 鉴于 GPT-3 在未来的惊人前景,能够得出结论:生命、宇宙和万物的谜底,就只是 4.398 万亿个参数罢了。”

文章评论