0°

关于ChatGPT的底层逻辑,这次听明白了!

  一分钟讲清ChatGPT的底层逻辑。

  混沌学园第352位老师,微软中国CTO,工程师韦青。

  语言是思想的边界。这是维特根斯坦说的,我要给他再加一句:技术是思想的实现。我们都以为技术是技术,忽略到了能够把技术开发出来。

  你先得有一个思想,ChatGPT实际上它只是一种提取已经被沉淀,被记忆的知识的一种交互方式。底下是什么?是Foundation Model,就是基础模型。如果用在语言上面叫做Large Language Model(大语言模型)。比方说像谷歌的Bert,像facebook 的拉码,都有不是说只是OpenAl的。

  但是为什么OpenAl的GPT现在那么火?它背后是有它的技术信仰,再加上有微软的,像Satya(微软CEO技术信仰的结合,这些人是都相信。靠这种大量的语料和海量的计算,能够产生出对于知识的沉淀和应用。像Sam Altman(OpenAl创始人)已经自己也在讲。

  他们后来是因为又用了一些技术方法,已经被记忆下来的模型,或者Large Language Model,又能把它拿出来用才发现原来,我两年前这个模型已经把人类的知识记下来了,只是还没有找到一个有效的办法把它提取出来。这是两步。

  大家知道,第一步是拿着Large Language Model,是把人类知识先给它沉淀下来就蒸馏。但是蒸馏完之后,有点类似于什么呢?像玫瑰精油精油是没法用的。大家知道吧精油太浓了,其实你要用的话还得要基底油,用调和油把它调成比方说洗发液、沐浴露。

  所以这两年时间是干这个事情。忽然发现原来用这种古铜色就是指令的方法,用这种微调的方法,用这种Prompt的方法,提示词的方法。我就能把精炼的玫瑰精油能把它拿出来滴到沐浴露中去。这东西一下子发现哪都可以用了。

  混沌学园,陪伴每一个有梦想的人,思维创造美好作品,用。

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论