0717-7821348
新闻中心

彩票365app苹果下载

您现在的位置: 首页 > 新闻中心 > 彩票365app苹果下载
需求你定,编不出来故事算AI输!万能AI写作模型开源发布
2019-10-31 21:56:53

鱼羊 乾明 发自 凹非寺

量子位 报导 | 大众号 QbitAI

AI编故事,一模更比一模秀。

这儿“一模”,自然是OpenAI横空出世的GPT-2。但今天更秀的另一模型,来自Salesforce——全球最大的SaaS提供商,尽管之前AI才能展露不多,但这一次,肯定一举成名。

作家知道会缄默沉静,谈论水军看了要流泪。因为定向化编故事、生成案牍谈论的才能,实在太强了!

话不多说,直接看“著作”。

定向化编故事,真假难辨

给它一把刀,它编出了这样的“恐惧故事”:

刀柄从洞里拔了出来。当刀击中我时,我吓了一跳,惊慌地睁大了眼睛。除了啜泣声,我只听到她的尖叫声。

蜘蛛预亲情备挖她上面的拱顶时,碰到了她的脚,小家伙的眼泪开端流下来。蜘蛛昂首看着她,回望着我,眼里充满了热泪。我的心开端狂跳……

有情形、有逻辑、有细节,还有故事性,写作功力几乎工作作家水平。



还能编出“买家好评”:

刀是一种东西,这个很好用。这是我买给我老公的。他拿到它们之后就一向用它们来切肉。

他说它们很尖利,所以使用时要当心,但这好像不是什么大问题。从鸡胸肉到牛里脊肉,他都切过……

比较无脑好评的水军,AI给出的成果很难想象是机器写的,中心信息点、细节,全都有了。

但写得好、写得真假难辨,还不是要点!

更要害的是,这个模型的共同之处——只需要给出条件,它就能“定向”编故事,写命题作文,指哪打哪,想写什么风格就写什么风格。

与脑洞过于天马行空的GPT-2比较,它更能够被人征服使用。



所以模型放出后,很快就引起了业内人士的重视。也有人给出点评:

这太酷了!能够以更结构化的办法操控文本生成十分有价值。

而且,这个NLP模型具有16亿参数,比之前最大的GPT-2还要多一个亿。

尽管相同忧虑模型被乱用,但在研讨人员看来,敞开可能会更好,能让更多的人参加进来,一同反抗。

所以,他们直接在GitHub上放出了多个全尺度的、经过练习的 CTRL 版别。而不是像GPT-2相同,挤牙膏开源。

而且,它仍是个万能选手,不仅能编故事,比方在Reddit论坛健身、理财板块宣布不同的谈论。

它还有许多正派用处:编写维基百科词条、答复各类知识问题、翻译文字等等。

那么这是一个怎样的NLP模型?

16亿参数的言语模型

这个模型,有一个十分有“灵性”的姓名:CTRL,全称为Conditional Transformer Language,依据条件的Transformer言语模型。

自从有了Transformer,文本生成范畴的大长辈就一个接着一个,这厢BERT创始先河,那厢GPT-2都能写论文了。



可是,与人类的创作办法不同,生成的文本再以假乱真,言语模型长辈们也不能依照特定的主题来写作内容。

所以,CTRL诞生了。

这是一个具有多达16亿参数的条件Transformer言语模型(GPT-2模型参数15亿),选用无监督学习,而且正如其名,能够对文本生成的内容进行更精准的操控。

比方给出一个产品评分:1.0。

GPT-2生成的内容是这样的:



而CTRL,会生成这样的成果:

我为我儿子买了这个,他是这个节目的忠诚粉丝。在拿到它之前,他十分等待。但当他翻开它时,咱们都十分绝望。产品质量太差了。它看起来就像是一元店里的东西。

这玩意儿情况很差。前盖上有几处划痕以及其他一些细微磨损……

完成的要害,在于操控代码(control codes)

CTRL以操控代码c为条件,学习散布 p ( x | c )。这一散布能够用概率链规矩分化,并需求你定,编不出来故事算AI输!万能AI写作模型开源发布经过考虑操控代码的丢失来进行练习。

操控代码能使用户意图为言语模型所了解。

经过标示练习数据集的特定标签,CTRL模型中大部分操控代码能指定生成文本的全体款式。

即便给出的提示(prompt)相同,操控代码也答应生成多样化的内容。而且,就算不给提示,CTRL相同能生成特定风格的文本。



在有操控代码的情况下,最初也不必给

而将操控代码添加到标签代码中,能够进一步约束生成。

比方在OpenWebText版别中,在每一个文档后边参加URL地址,作为输入序列的最初。



这样,CTRL在练习过程中,就会学习这些URL的结构和文本之间的联系。在推理过程中,URL能够指定各种功用,包含域,子域,实体,实体联系,甚至日期。

除此之外,还有一小部分操控代码是与问答、翻译这样的特定使命相关的。这些操控代码相对杂乱。



好玩的是,混合操控代码会发生一些有意思的文本。

比方把翻译操控代码混合到饮食这个标签中,生成的文本就具有了两种不同言语的版别:



再比方说把政治和法语提示混到一同:



这些组合,在此前的练习中都没有呈现过

值得一提的是,CTRL的练习文本数据多达140GB,包含维基百科,Gutenberg上的书本,OpenWebText2数据集(GPT-2网页文本数据集克隆版),许多新闻数据集,亚马逊点评,来自ELI5的问答,以及包含斯坦福问答数据集在内的MRQA同享使命等等等等。

数据集尽管没有开源,但Salesforce表明,他们会发布与数据搜集相关的代码。

以及,因为操控代码和用于练习模型的文本之间存在直接联系,CTRL能判别出新文本生成时对其影响最大的数据源是哪一个。



全球最大的SaaS服务提供商出品

这篇论文来自Salesforce——全球最大的SaaS服务提供商。

最近最为人重视的是一次大规划商业并购:豪掷157亿美元收买大数据公司Tableau。

Salesforce Research是其内部的研讨部分,中心方针是用AI来处理事务中的问题,现已在NLP范畴颇有建树。

现在,这一部分由Salesforce的首席科学家Richard Socher领导。



他博士结业于斯坦福大学核算机系。2016年,自己兴办的公司被Salesforce收买后,参加Salesforce。

依据他个人网站信息,仅在2019年他就发布了11篇顶会论文,其间ACL 2019 3篇;ICLR 2019 6篇;CVPR 2019 1篇;ICML 2019 3篇。

他也是这篇论文的作者之一。这篇论文的其他作者,都是Salesforce Research的研讨员。榜首作者有两位,分别是Nitish Shirish Keskar和Bryan McCann。

其间,Nitish Shirish Keskar是Salesforce的高档研讨员,博士结业于西北大学,研讨方向为深度学习及其在自然言语处理和核算机视觉方面的使用。他的个人页面显现,现需求你定,编不出来故事算AI输!万能AI写作模型开源发布已宣布了14篇论文,其间不乏ICLR等顶会。

Bryan McCann也是Salesforce高档研讨员,结业于斯坦福大学,从前担任过吴恩达机器学习课程的助理,研讨方向是深度学习及其在自然言语处理方面的使用。个人网站显现,他宣布过7篇论文,不乏ACL、NeurIPS、EMNLP等AI顶会。

引发参数热议

这一研讨成果,也引起了咱们对模型参数的评论。

有人说,15亿参数也好,16亿参数也罢,要是英伟达的Megatron放出来,80亿参数肯定都统统碾压。

但也有人给出冷思考,表明参数许多并不是长处,而是一个缺点。阿姆斯特丹大学的助理教授Willem Zuidema说:

为什么规划大是一个卖点?我了解人们为建立了一个十分好的模型而骄傲,甚至为找到了在有限的核算资源上练习大型模型的办法而骄傲。

但在我看来,16亿参数自身好像是一个缺点,而不是优势。



对此,Richard Socher也给出了回应:

的确,假定功能相同,较小的模型更好。但现实证明,只需你在许多的练习数据上练习它,言语模型的功能和回忆现实的才能与巨细是密切相关的。

Jelle Zuidema再度回应,给出了进一步的解说:

令我惊奇的是,“最大”是声明中的榜首个形容词,而“高质需求你定,编不出来故事算AI输!万能AI写作模型开源发布量”仅仅最终一点。

我认为有必要提示人们,抱负的办法仍然是更少的参数、更少的训练和更好的功能。

你怎么看?

传送门

最终,假如你对这个研讨感兴趣,请收好传送门:

项目地址:

https://github.com/salesforce/ctrl

论文地址:

https://einstein.ai/presentations/ctrl.pdf

博客文章:

https://blog.einstein.ai/introducing-a-conditional-transformer-language-model-for-controllable-generation/

— 完 —

诚挚招聘

量子位正在招募修改/记者,工作地点在北京中关村。等待有才华、有热心的同学参加咱们!相关细节,请在量子位大众号(QbitAI)对话界面,回复“招聘”两个字。

量子位 QbitAI 头条号签约作者

'ᴗ' 追寻AI技能和产品新动态