0°

重磅内幕:OpenAI将开源新模型!开源社区的繁荣,全靠大厂施舍?

  就在刚刚,根据The Information的最新爆料,OpenAI即将发布一款全新的开源大语言模型。

  虽然目前还不清楚,OpenAI是不是打算利用即将开源的模型,来抢占Vicuna或其他开源模型的市场份额。

  但几乎可以肯定的是,新模型的能力大概率无法与GPT-4甚至GPT-3.5相竞争。

  毕竟,270亿美元的估值也决定了,OpenAI最先进的模型将会被用于商业目的,尽管前两个版本的GPT都是开源的。

  对此,OpenAI的发言人没有回应置评请求。

  羊驼家族开源大爆发

  十天前,谷歌的一份内部文件泄漏。在这篇名为《我们没有护城河,OpenAI也没有》的文章里,作者沉痛控诉了开源对于谷歌和OpenAI的沉重打击。

  的确,在这次军备竞赛中,谷歌和OpenAI似乎都不是赢家,因为开源社区正在吃掉属于它们的「利益」。

  ChatGPT一出,引爆了全球的LLM革命。然而,OpenAI不Open,很多公司和开发者只能看着干着急。

  此时,Meta站出来发布了LLaMA,为全世界开发者谋了一把福利。

  本来呢,Meta承诺的是LLaMA会对非商用的研究用例开源,可是谁能想到,仅在发布一周后,LLaMA的权重忽然在4chan上泄漏了,瞬间就引发了数千次下载。

  这场「史诗级泄漏」,直接让开源LLM领域变了天。短短几周内,各种ChatGPT平替就以迅雷不及掩耳之势呈爆炸式增长。

  Alpaca、Vicuna、Koala、ChatLLaMA 、FreedomGPT、ColossalChat……简直堪称是「羊驼家族」大爆炸。

  其实,早在羊驼之前,开源模型就曾破灭过OpenAI的野心。

  当时,刚刚发布的Dall-E 2凭借着惊艳的文生图效果,在网上引起了不小的轰动。

  然而,当OpenAI还在试图兜售API时,一款开源替代突然横空出世——Stable Diffusion。

  随着Stable Diffusion的迅速崛起,Dall-E 2也很快就被开发者们抛在了脑后。

  开源大模型,要颠覆硅谷大厂?

  UC Berkeley的计算机教授Ion Stoica正是使用Meta的研究开发Vicuna的学者之一。

  为了提高Vicuna的能力,Stoica和同事们正在努力增加模型中的计算数量,这将有助于处理涉及推理的任务,比如写代码。

  开发Vicuna的是一个伯克利的团队,每年的预算为数百万美元,其中大约50万美元来自包括微软、谷歌和亚马逊在内的上市公司。

  UC Berkeley的计算机教授Ion Stoica表示,现在的免费AI模型,在性能上已经「相当接近」谷歌和OpenAI的专有模型了,毫无疑问,大多数开发者最终都会选择免费模型。

  一方面,开源模型可以让开发者使用自己的数据来解决特定的问题。

  另一方面,像Vicuna这种模型的训练成本甚至可以低至几百美元,而且还不用向大厂支付昂贵的使用费。

  https://lmsys.org/blog/2023-03-30-vicuna/

  如果Stoica的看法正确,开源AI必将颠覆谷歌、OpenAI、微软等出售专有模型使用权的大厂的商业计划。

  Vicuna的质量和开源AI的寒武纪大爆发,让谷歌工程师Luke Sernau警告同事,谷歌在努力追赶OpenAI时,太过关注专有软件了。

  如果免费、高质量的平替没有使用限制,谁会去付费使用带有条条框框的谷歌产品呢?开源AI的发展正在超越我们,谷歌应该在开源社区中建立自己的领导地位,并放弃对我们模型的部分控制。

  这份备忘录迅速在整个行业内引起了共鸣——即使Sernau或许高估了开源AI的能力,低估了它们的成本和风险,但大多数从业者都同意,Meta非常有可能从中获益。

  比如,Meta在内部会使用AI模型进行内容推荐和广告定位,当开发者改进Meta的模型时,Meta就可以把这些改进纳入自己内部的AI。

  Meta CEO小扎对此筹谋已久。

  4月,在他与分析师的一次电话会议中,他曾这样谈到公司的策略——

  如果行业能够在我们使用的基础工具上达成标准化,那么我们就能从其他人的改进中受益,这样会更好。

  谷歌倒是没有完全采用专有的方式来处理AI软件。

  早在2020年,谷歌就发布了一个开源语言模型T5,让开发者可以构建能够执行翻译和摘要任务的软件。随后,谷歌又发布了一个更先进的Flan-T5。

  但是,根据Stoica和其他从业者的说法,Meta发布的软件能够在谷歌模型的基础上做出显著改进,这让开发者选择Meta模型的可能性大大增加了。

  不过,Stoica表示,谷歌在开源软件方面仍有两个优势。

  1. 如果谷歌利用其不向外部开放的用户数据,模型在某些专业领域(如内容推荐)的表现可能会更好。

  不过,谷歌发言人表示,公司并没有在现有用户数据上训练其基础模型。

  2. 搜索公司在管理大规模计算机基础设施方面的专长,意味着它能够以更低的成本来运行模型,包括为云客户提供服务。

  与此同时,OpenAI在收集数百万人与ChatGPT互动方式的数据上,已经抢得了先机,这会更有助于OpenAI改进AI软件,更不用提它和微软的合作协议。

  开源的繁荣,是大厂的「施舍」?

  不过,这种建立在开源基础上的繁荣,是不稳定的。

  目前大多数的开源,仍然依赖于资金雄厚的大公司发布的巨型模型。如果OpenAI和Meta决定关闭业务,繁荣的开源社区,可能就会变得萧条。

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论