0°

OpenAI真正想要的是什么?

  十月份的《连线》杂志封面重磅报道OpenAI公司,《连线》记者深入采访OpenAI核心团队,可以说是目前最全面的关于OpenAI公司成长的报道。精选一些亮点、重要、关键的段落分享给大家。

  1、如果有一天机器人来书写历史的时候,或许会将Sam Altman的全球“巡演”作为AI历史的一个里程碑。一位安静而引人注目的CEO,拥有打破范式的技术,试图将一种非常奇特的世界观注入全球思维中。

  2、Altman8岁时,父母给他买了一台Macintosh LC II,一天晚上,他突发奇想,“有一天,这台计算机将会学会思考。”

  3、在Altman看来,AI是一个可以统治一切领域的创新领域,一种可以比人类更好地解决人类问题的超级智能。

  4、Altman在YC的时候曾一度考虑竞选加州州长,但他意识到自己完全有能力做一些更大的事情。他说,“AGI(通用人工智能)只会被构建一次,而且没有那么多人能够很好地运行OpenAI。”

  5、2015年12月,OpenAI正式成立。尽管当时拥有10亿美元(主要来自马斯克),一支由研究人员和工程师组成的顶尖团队,以及崇高的使命,还没有办公室,团队聚集在CTO格雷格·布罗克曼的公寓的时候,他们并不知道如何去实现目标。

  OpenAI的第一个办公室(格雷格·布罗克曼的公寓)

  6、Open AI的影响力之路真正始于2016年一位尚未出名的研究员Alec Radford的加入。Alec Radford当时对自己的岗位认知是“有点类似于加入研究生项目”,一个开放的、低压的AI研究岗位。实际上,他扮演的角色类似于Google联合创始人拉里·佩奇发明了PageRank。

  7、Alec Radford最大的兴趣是让神经网络与人类进行清晰的对话互动,这与传统的聊天机器人比如Siri、Alexa等已经有对话脚本模型的方法背道而驰。

  Alec Radford的第一个实验是用20亿条Reddit评论来训练语言模型,但就像OpenAI早期的许多实验一样,失败了。

  由于算力限制,Alec Radford的第二个实验是用1亿条亚马逊产品评论训练语言模型来预测亚马逊网站上评论文本中的下一个字符。实验成功了,而且还出人意料地发现了无监督情感神经元。

  8、2017年初,八名Google研究员共同发表了经典论文《Attention Is All You Need》,提出Transformer 架构。该论文被认为是当下AI狂潮的催化剂。格雷格·布罗克曼是当时少数理解Transformer 架构的突破有多强大的人之一。布罗克曼说,“这就是我们一直在等待的。”

  9、Alec Radford开始实验Transformer 架构,他在两周内取得的进步比过去两年(2016-2017年)还要多。他逐渐意识到新模型的关键是扩大规模,这个想法被合作者Rewon Child(曾在Google大脑,离开OpenAI后参与创立Inflection AI)称为“Big Transformer ”。

  对此,Quora CEO、OpenAI董事会成员Adam D’Angelo说,这种方法(“Big Transformer ”)需要改变OpenAI的文化和当时缺乏重点的现状。为了利用Transformer ,OpenAI需要扩大规模,像一个工程组织来运营自己。OpenAI不可能再像成立之初,让每个研究人员都尝试做自己的事情,训练自己的模型,并做出可以发表论文的东西。这是有且只有OpenAI能够做到的事情。

  10、Alec Radford和Rewon Child将他们创建的模型命名为“generatively pretrained transformer”,缩写为GPT-1。为了训练GPT-1,他们收集了7000本未出版的书籍,其中许多是浪漫、奇幻和冒险类型,并根据Quora的问答以及初中、高中考试中摘录的数千篇文章对其进行完善,总之,GPT-1包含了1.17亿个参数,在理解语言和生成答案方面超越了之前所有的产品。

  GPT-1最引人注目的结果是,处理如此大量的数据使模型能够提供超出预期的结果,并且能够提供全新领域的专业知识,这些在计划之外的机器能力被称为zero-shorts。现在这些能力仍然让研究人员感到困惑,也解释了为什么AI领域的许多人对大语言模型的不安。

  11、每一次GPT迭代升级后都会表现得更好,部分原因是因为每次迭代都会比前一代模型多一个数量级的数据。

  GPT-2使用了15亿个参数。

  GPT-3使用了1750亿个参数。

  GPT-4使用了1.7万亿个参数。(这个数据来自媒体报道,OpenAI不承认也不会主动透露。)

  12、如果问10岁的Aitman,他的AI白日梦是什么?他的预测是首先是拥有机器人,可以替代体力劳动;然后是拥有可以做复杂事情的系统,比如证明数学定理;最后是拥有能够创造新事物,从事艺术创作、写作和深具人类意义的事情的AI。但实际上AI正朝着相反的方向发展。

  13、2018年初,OpenAI开始重点关注大语言模型(LLM),但马斯克并不高兴,他觉得OpenAI的进展还不够,需要自己的领导力来抓住OpenAI的优势。

  马斯克的解决方案是让自己持有多数股权,像Tesla、SpaceX、Neuralink、Boring Company一样将OpenAI纳入马斯克宇宙(Muskiverse)。马斯克认为自己有权拥有OpenAI,没有他就不会有OpenAI,名字都是他想出来的。

  Altman和OpenAI智囊团的其他成员没有兴趣成为Muskiverse的一部分。双方因此分道扬镳。

  马斯克对外的解释是离开OpenAI董事会是为来避免与特斯拉的AI工作发生冲突。在当年的一次全体会议上,马斯克正式告别,会上他预测OpenAI将失败,并且至少称其中一名研究员为“蠢货”。

  14、马斯克把他的钱也带走了,OpenAI当时还没有收入,因此陷入生存危机。Altman惊慌失措地向早期的投资人里德·霍夫曼寻求帮助,里德·霍夫曼伸出了援手,自愿维持公司运转,支付管理费用和工资。

  15、对于OpenAI来说,获得第一个10亿美元是巨大的提升。为了训练和测试新一代的GPT,获得部署它们需要的算力,还需要10亿美元。

  因此,2019年3月,OpenAI进行了一次复杂的重组。OpenAI本体(OpenAI Inc)仍然是一个非营利机构,致力于使命,但它创建了一个营利性实体(OpenAI LP)。超出公司章程规定的营利上限的部分都将归非营利的本体所有,但上限的数字并未公开。

  首席运营官Brad Lightcap表示,OpenAI领导层的观点是,董事会(仍属于非营利性控制实体的一部分)将确保收入和利润的驱动力不会压倒初心。

  Adam D’Angelo说,“我们需要将使命作为我们存在的理由,它不应该仅仅体现在精神上,而应该体现在公司的结构中。”

  Brad Lightcap介绍,OpenAI有一份法律免责声明,警告投资者,可能会损失所有的资金。OpenAI的首要是实现使命,而不是为投资人赚钱。另外,OpenAI真的不知道金钱将在后AGI世界扮演什么角色。

  16、OpenAI的重组文件中有一个条款的大意是,如果公司确实设法创建AGI,所有的财务安排都将重新考虑。毕竟从那时起,这将是一个新的世界。

  问题是,目前OpenAI并没有明确说明AGI是什么,将由董事会决定AGI的定义。

  OpenAI的领导层认为,如果公司足够成功,达到利润上限,那么其产品表现很可能足以达到AGI。

  首席科学家Ilya Sutskever说,AGI是一个令人困惑的术语,之所以选择AGI是因为它强调普遍性高于一切。GPT-3已经是AGI,但OpenAI不太愿意称其为AGI,因为OpenAI想要人类水平的智能。

  17、OpenAI创立时的资金来源于马斯克(捐赠1亿美元及投入时间)、里德·霍夫曼(捐赠1000万美元)、Peter Thiel、Jessica Livingston、Amazon Web Services 和 YC Research。

  2019年的融资包括Khosla Ventures(5000万美元,第一个投OpenAI的VC)、Thrive Capital、Andreessen Horowitz、Founders Fund和红杉资本。

  投资人Vinod Khosla说,“如果我们输了,我们就会损失5000万美元;如果我们赢了,我们就会赢得50亿美元。”

  18、OpenAI重组的转变之一是还允许员工持有一些股份,但其中不包括Altman。原本Altman是打算把自己也包括进去,但是没有抽出时间,后来他决定不要了。他说,“有意义的工作对我来说更重要,我不考虑这个。老实说,我不明白为什么人们如此关心。”

  19、这场豪赌除了资金,还需要资源,只有少数公司拥有OpenAI需要的资源。OpenAI很快瞄准了微软。

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论