0°

ChatGPT的本质

  ChatGPT大火后,大家讨论最多的是“怎么用ChatGPT”、“ChatGPT怎么搞钱”。

  但是,在讨论这些问题之前,有一个更重要的问题需要我们知道,“ChatGPT是什么”。

  因为只有了解了ChatGPT的概念,我们才能更清楚它有什么价值,我们能怎么利用它。凡事知其然,也要知其所以然。把定义搞清楚,是一切讨论的前提。

  哲学家维特根斯坦说过一句话:语言的界限就是思想的界限。

  备注:本文是从一个技术麻瓜(普通人)的视角来解释,不用太担心难以理解。

  一、什么是人工智能

  ChatGPT,是人工智能里程碑式的产品。所以在说它之前,必须先聊聊什么是人工智能。

  1950年,艾伦·图灵发表了一篇划时代的论文《计算机器与智能》,这篇论文在开篇就抛出了一个有趣的问题:“Can machines think(机器能思考吗)?”这个问题引起了广泛的关注和思考,标志着人工智能的起源。

  简单点说,人工智能,就是要让计算机拥有人类智能的能力,包括感知、学习、推理、创造和情感等。当然,我们可以把它划分为不同的层次:

  运算智能:具备计算和记忆的能力。

  感知智能:对外界环境感知的能力,比如视觉(图像识别)、听觉(语音识别)等。

  认知智能:理解和思考的能力。人类有概念,才有推理。先有理解,才有思考。比如自然语言处理技术(NLP)。

  创造智能:生成新信息、新想法或创意的能力,包括生成文本、图像、音乐等。

  这几年随着感知智能的大幅度进步,人们的焦点逐渐转向了认知智能。其中自然语言处理,是重中之重,一旦有突破,会大幅度推动人工智能的发展。

  二、什么是自然语言处理

  自然语言处理(Natural Language Processing,NLP):是计算机理解(NLU)和生成(NLG)人类语言的技术。

  理解人类的语言是一件特别难的事情,举个例子:

  小明:我知道你什么意思,你的意思就是想意思意思,但是你不明白我的意思,我的意思是你不用意思意思,我依然会帮你意思意思,我没什么意思,就这点意思,不用意思意思,不然我会不好意思。你懂我的意思?

  计算机:……%&¥&#

  所以,自然语言处理,才被比尔盖茨称之为“皇冠上的明珠”。

  比尔·盖茨曾说过,“自然语言处理是人工智能皇冠上的明珠,如果我们能够推进自然语言处理,就可以再造一个微软。”

  三、什么是ChatGPT

  ChatGPT,是自然语言处理技术的里程碑。如果说过去,我们的对话机器人可以称之为“人工智障”,而ChatGPT终于可以称之为“人工智能”。

  ChatGPT:全称 Chat Generative Pre-trained Transformer(生成型预训练变换模型)。

  是不是觉得每个字都认识,但放在一起就懵了。其实,这些单词背后都是一个技术名词,所以,我们需要一个词一个词的解释一下。

  3.1 ChatGPT

  Chat:代表着它的作用,可以用它来聊天。

  GPT:代表着它背后的技术。

  G:Generative——生成式的(模型),这里主要是和分类式的模型 Discriminative model 做个区分。

  这里不用太深入了解,我们只需要知道生成式的模型,就是可以用它来生成内容,比如一段话、一张图片。

  P:Pre-Trained——预训练的(模型)

  T:Transformer——转换器(模型)

  为什么ChatGPT用的是Transformer模型,为什么要预训练,这里不太好解释,我们需要先了解一下自然语言处理技术的发展历程。

  3.2 NLP技术的发展

  我们都知道,要理解人类的语言是一件很复杂的事情,技术的发展也经历了波折的过程。

  第一阶段:基于规则的时代(1950s-1970s)

  简单来说,就是设计一些规则,让计算机按规则去理解人类的语言。比较著名的是 1966 年 MIT 发布的世界上第一台聊天机器人 Eliza。但总体来看,这些机器人还无法与人真正实现对话。

  第二阶段:机器学习——神经网络时代(1970s-2010s)

  机器学习的兴起:机器学习,指不通过人类指定的规则,而是通过机器自身运行,习得事物的内在规律。

  用专业的话来说,就是“计算机程序能从经验E中学习,以解决某一任务T,并通过性能度量P,能够测定在解决T时,机器在学习经验E后的表现提升”。

  能用人话来解释吗?好嘞。

  用小白的话来说,机器学习你可以把它想象成“儿童学习的过程”。比如:小明是一个小学生,他要参加考试(任务T)。如果想要让它取得好成绩,就要让他不断刷题(经验E),(性能P)就是考试成绩,然后通过不断刷题,来提高成绩。

  机器学习的本质,是统计学。机器学习的结果,就是训练出一个“模型”。

  这个模型可以理解为是一个函数:y=f(x)。我们把数据(x)输入进去,得到输出结果(y)。

  比如语言模型:就是对语言中的词序列,进行建模的统计模型,给定前文(x),生成下一个词(y)的概率分布。

  那怎么获得这个模型呢——答案是训练。

  一般先确定模型的类型,也就是f(x) 的具体形式,再结合训练数据,计算出其中各个参数的具体取值的过程。比如给定函数:y=ax,我们需要通过“算法”,找到最优参数a,这个就是“机器学习”的过程。目标是让输出的结果 y`,最符合我们的业务目标 y。

  经过几十年的努力,人们在NLP模型上不断进步。其中,神经网络作为一种模拟生物神经系统的模型,在NLP领域取得了显著的突破,成为了主流方法,比如RNN、LSTM等。

  第三阶段:Transformer模型(2017年至今)

  当然,RNN、LSTM等模型都不够完美,最大的缺陷就是计算效率低、长语言的效果差。

  而在2017 年 Google 机器翻译团队发布了著名论文 《Attention is All You Need》,提出了 Transformer 模型,带来了历史性的突破,成为了 NLP 历史上的一个标志性事件。

  相较于传统的神经网络,Transformer 模型提升了语言模型运行的效率(效率更高),同时能够更好的捕捉语言长距离依赖的信息(效果更好)。

  简单来说:就是Transformer这个模型,在处理自然语言任务上很牛逼!

  3.3 为什么要 Pre-Trained(预训练)呢?

  我们已经知道,机器学习是在模仿“儿童学习”的过程。比如:

  有一个小孩A,在家长的指导下学习知识,告诉它这是熊、那是马,这种叫做“监督学习”。

  有一个小孩B,没有家长教,直接把大量题目丢给他,让他在题海中自己发现题目规律,当题量足够大的时候,B虽然不能完全理解每道题,但也会发现一些知识点的固定表述。这就叫做“无监督学习”。

  很明显,无监督学习,不会受限于人力,你只要把所有的数据喂给它就行了,它会自己总结内部的规律。

  预训练(Pre-training)就是这个原理,先使用大规模的数据集对模型进行事先的训练。这个预训练过程不针对特定的任务,它会自动地从数据中提取特征,从而学习到语言的潜在模式和结构。

  而要让模型执行具体任务时,再使用特定任务的数据进行监督学习,也就是微调(Fine-tuning)。从而让模型更加专业化和适应具体任务的需求。

  比如ChatGPT就经过了人类反馈的强化学习(RLHF),让它能更胜任与人聊天的任务(更安全、更有礼貌、更有用)。预训练+微调的技术,能让ChatGPT更具有“泛化”能力,而不是只能解决特定问题的“专家”。

  四、ChatGPT对我们意味着什么

  这个问题我不想聊太大,什么取代人类的工作、什么AGI到来……

  我觉得:作为普通人,唯一要做的就是不要落下,尽情地享受AI带来的便利就好。推动技术发展,是科学家的使命。

  ChatGPT的本质还只是工具,跟历史上出现过的所有新工具一样。我们必须要学习它,理解它、运用它,让它在学习和工作场景中发挥价值。

  总结

  ChatGPT:是一个人类语言的处理模型。

  什么是模型:本质是函数,比如 y=f(x),输入(x),得到输出结果(y),模型的目的是为了解决特定的问题。对于ChatGPT,你输入一段文字后,它会“理解”你的语言,生成回应,为你提供建议或交流。

  为什么能理解:本质是统计学,不是真的理解。它是通过机器学习,掌握了语言的规则和模式。

  为什么效果史无前例:Transformer的模型解决了过去技术效率低和效果差的问题+预训练可以处理大量数据,能力泛化+微调帮助模型更适应具体与人聊天的任务。

  作者 | 王洲Joe 关注AI趋势,用人工智能改变工作和创造力。

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论