0°

我们离OpenAI还有多远?“代差”不止几个月,试错成本仍较高

  来自大洋彼岸的OpenAI以及ChatGPT的出现,如同一场飓风暴席卷了整个科技圈,自从发布后,就一直是国内的顶流话题。为什么中国没有诞生ChatGPT?在这个问题出现后的近半年时间里,约30家国内科技大厂、创业公司、机构相继宣布推出大模型。

  此后,业界最为关注、也充满争议的一个话题是,国内的大模型距离OpenAI有多远?关于企业家两三个月以及两三年的言论推测都曾刷屏网络。在近期和不同领域相关从业者的交流中,第一财经发现,尽管有一些乐观的看法,身处一线的研究者们都较为谨慎。

  复旦大学MOSS系统负责人邱锡鹏对第一财经表示,“我们不得不说,不光是国内的模型,包括谷歌,离OpenAI的GPT4都还是存在代差的,差距非常大,远远不是几个月就可以追赶上的。”

  网梯科技创始人张震认为,在追赶OpenAI方面,算力并不是问题,雇佣全球云服务商夜里的“垃圾时间”就解决了,核心是算法、数据能不能真的产生智能,这是挑战。“业界认为一年时间能追到GPT3.5,我觉得不一定追得上,除非把核心程序员挖出来,否则只是看起来很像。”

  上海国创中心理事长、领中资本管理合伙人黄岩认为,短期内并不存在追上的说法,因为这个领域需要巨额投入,目前国内没有哪家大模型厂商投下了OpenAI那样规模的资金,对于这个高投入、高风险、高回报的领域,国内的资本也还在持币观望。

  尽管如此,邱锡鹏认为,很多人会思考为什么中国没造出ChatGPT,“能思考这个问题本身就是一个很大的进步,放在10年前我们不会思考这个问题,会觉得一个先进技术发展在美国是应当的。”现在我们思考,并且去追赶,本身就是一种进步。

  代差不是几个月就能追上

  “在过去的几个月,有十几个大语言模型的发布会,这些模型都大同小异,现状就是,在全球范围内只有OpenAI能够达到通用人工智能的商业化,并且有绝大部分用户的市场。”在长三角科技产业创新论坛上,竹间智能创始人兼CEO简仁贤认为,几乎除OpenAI以外的AGI大语言模型都只是发布会的阶段,没有达到可商用化的程度。

  简仁贤表示,从发布会到可商用化,中间有很大一段距离,这个差距还很大。目前的情况是,OpenAI具有几亿人的使用数据,它用这些使用数据再去微调其模型,“GPT4已经非常厉害,更不用说未来会有GPT5。”

  邱锡鹏的团队此前尝试用大模型去做高考题,但并没有用MOSS去测试,在采访中他直言是因为觉得“它应该考不了多少分”。 邱锡鹏表示,团队之前让ChatGPT做高考题,用人工评价大概判断得分在500分左右,后来用一些更严格的方式、用程序来评判,得分大概400分不到。不过此后GPT4又将高出非常多。近期,以“火星”命名的千亿级模型参数的更新版MOSS模型即将上线,邱锡鹏的团队计划让更新版MOSS参加今年的高考,以测试其分析和推理能力。

  国内有部分企业认为我们与ChatGPT的差距很小,邱锡鹏认为,作为聊天软件,国产大模型或许与ChatGPT差别不太大,但作为生产力工具,两者能力仍然存在代差,这个代差不是几个月就能追上的。

  深思考是华为投资的人工智能企业,此前发布了针对专业场景的多模态大模型,作为身处一线的观察者,深思考创始人、AI算法科学家杨志明对第一财经表示,从通用层面来说,国内大模型与OpenAI大概有1-2代的代差,这个代差代表了整个模型层的技术,包括学习的知识、能力等等方面的差距。

  杨志明认为,很难从时间上去衡量这个差距,因为速度不一样,可能国内基于一些公开论文和模型,学习先行者会快一点,但也并非是几个月这么简单。关键在于,OpenAI还在往前走,会越跑越快,“在垂直领域,我们有可能追上,在通用这块还会有一段时间。”他表示。

  国内迫切呼唤通用大模型。在长三角科技产业创新论坛上,上海市徐汇区委常委、副区长俞林伟就表示,目前最重要的是大模型,因为这个是真正的国之大者。“也有充满危机感的行业的领军人物讲,如果我们今年下半年仍然不能做出中国的通用大模型,因为美国还在不断地往前走,以后可能我们连汽车的尾灯都看不见,这个绝对不是危言耸听。”

  在论坛现场,俞林伟“广发英雄帖”表示,徐汇愿意以事业合伙人的胸襟和担当,真金白银拿出办公的载体、算力资源以及研发费用的补贴。“只要谁能够把这个干出来,我们是愿意尽最大的努力来支持,尽最大的意愿来做好服务。前一段时间我们已经服务了几家这样的企业,拿出来的载体价格至少这两年我从来没有见到过。”

  据黄岩团队的统计,截至2023年4月,AGI赛道目前在国外已出现了13家独角兽。在国内目前只有小冰公司已明确成为独角兽。超一半初创企业的融资进度在A轮或天使轮,行业仍处于发展初期。

  目前,最受头部资本关注的机构均与底层大模型或AI领军人物下场相关,如已退休的美团联合创始人王慧文、搜狗创始人王小川、创新工场董事长李开复等。此前王慧文公开动态透露,光年之外的下轮融资已有顶级VC认购2.3亿美元。

  试错成本仍然较高

  在谈及与OpenAI的差距时,此前有投资人表达了相对乐观的态度。一方面,大模型的架构已经确定,后发者很容易去学习。此外未来三年算力的成本会下降,同时又有不少开源模型作为基础支持。站在巨人的肩膀上,节省了从头开始的试错成本。

  邱锡鹏对第一财经记者表示,整体从技术能力上,国内外没有太大的差距,差距更可能来自于在前期有风险、道路不明确的时候,有没有投入巨资,类似于赌博式去做这件事。

  另一方面,尽管OpenAI已经走通的路径能帮后来者节省很大的成本,但其具体每一步的细节外界并不知道。虽然都是Transformer的架构,但是Transformer也有很多版本,每家都不一样。

  “这都是研究者根据自己在研究中的一些经验或者理论等推导出来的,应该做哪些修改等等外界完全不知道。我们自己做的时候,也需要去试错,这个成本依然非常高。”邱锡鹏说。

  黄岩认为,虽然可以参考一些开源的内容,但是一方面数据的标注仍然需要人为去标识,这需要大量的投入。另一方面,现在算法也开始自AI,即自动生成算法,这个结果出来不可控,研究者并不知道是怎么算出来的,因此这个过程并不容易。

  此外,大模型需要巨额投入,此前有投资人测算,对标一个GPT3.5,基于目前已有的公开资源,大概需要的投入至少是1亿到2亿美金。

  但与国外融资环境相比,国内AIGC目前融资频次与体量有一定差距。黄岩认为,通用大模型有着高投入、高风险、高回报的投资特点,商业价值很难在短期内产生。“以微软130亿美元投资OpenAI为例,在没有看到其产品效果以及真正商业化之前,很难有机构敢去做这个规模的投资。”目前大部队还处在缺乏明确逻辑和标的的观望状态,黄岩表示。

  在采访中,商汤科技智能产业研究院院长田丰还对第一财经提到,算力之外,数据是一个很重要的成本。大模型训练需要需要跨语言、跨行业、跨领域的庞大数据集,上至天文下至地理等领域的数据都需要有效覆盖,但一方面是训练数据集可获得的难易程度问题,另一方面则是获得的质量问题,以及背后还有不可忽视的人工纠偏、合规审查等重投入工作。

  在中文语料库里,通过互联网获得高质量数据并不占优。根据调研公司 W3Techs的数据,全球的网站有55%是英文的,而中文网站的比例只有1.4%,排名第12位,和越南相近。因此中文内容在人工智能训练上没有优势。

  另一方面是数据获得的难易程度以及标准化程度,田丰提到,国际上多边跨国数据政策互通、全球训练数据集易于获取,而中国尚缺乏大模型国际标准深度参与、多国数据流动机制、国际标准互认、大规模中文语言开源训练数据集。

  如此前欧盟委员会法规已构建起欧盟与英日韩等多个国家的跨境数据流动充分性权限许可。在4月底的G7会议上,通过联合声明明确提出建立“可信赖的AI”国际技术标准、基于“可信的数据自由流通”(DFFT)构建起国际机制,促进跨国数据流通。

  田丰认为,类似通过举国体制去建立全球最大的公共开源中文数据集,以加速中文大模型的训练速度与质量刻不容缓。OpenAI之所以有工程上的奇迹,关键就在于其开放的技术链条,能够把全球产业链上最前沿的技术融合到一起。如果都只有各自那一块领域的数据很难训练出大模型。

  “我们希望政产学研一起去做这个事情,龙头企业有行业数据,科技公司有较强的大模型基础研发能力与人才,国家实验室、国家数据局作为多方信任的中立机构,能够有效将全球中文数据集合法合规集中于一个国家共享开放生态,发挥出AGI时代举国体制的巨大价值。”田丰呼吁。

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论