测试结果证明ChatGPT能够进入原创性思维前1%的行列

  蒙大拿大学及其合作伙伴的最新研究结果表明,根据一项标准的创造力测试,人工智能可以与人类前1%参与者的创造能力相媲美。在蒙大拿大学商学院助理临床教授 Erik Guzik 博士的领导下,研究小组采用了托伦斯创造性思维测试(Torrance Tests of Creative Thinking)–一种几十年来用于评估人类创造力的著名工具。

  研究人员提交了由 GPT-4 人工智能引擎驱动的应用程序 ChatGPT 生成的 8 个答案。他们还提交了一个对照组的答案,该对照组由 24 名选修古兹克的创业和个人理财课程的 UM 学生组成。这些分数与 2016 年参加 TTCT 考试的全国 2700 名大学生进行了比较。所有提交的答案都由 Scholastic Testing Service 进行评分,该公司并不知道人工智能参与其中。

  结果显示,ChatGPT 在创造力方面名列前茅。人工智能应用程序在流畅性(产生大量想法的能力)和原创性(提出新想法的能力)方面都名列前茅。在灵活性(产生不同类型和类别创意的能力)方面,人工智能表现略显不足,排名第 97 位。

  ”对于 ChatGPT 和 GPT-4,我们首次发现它在原创性方面的表现位于前 1%,”古兹克说。

  他欣慰地注意到,他的一些UM学生的表现也进入了前1%。不过,ChatGTP 的表现超过了全国绝大多数大学生。

  Erik Guzik 是蒙大拿大学商学院的临床助理教授。图片来源:Ryan Brennecke 蒙大拿大学

  古兹克在春季学期对人工智能和他的学生进行了测试。蒙大拿大学西部分校的 Christian Gilde 和维尔纽斯大学的 Christian Byrge 协助他完成了这项工作。研究人员于五月份在南俄勒冈大学创造力大会上介绍了他们的工作。

  ”我们在会议上非常谨慎,没有过多地解释数据,”Guzik 说。”我们只是展示了结果。但我们分享了强有力的证据,表明人工智能似乎正在开发与人类能力相当甚至超过人类能力的创造能力。”

  他问 ChatGPT,如果它在 TTCT 上表现出色,会说明什么。人工智能给出了一个有力的答案,他们在大会上分享了这个答案:ChatGPT 告诉我们,我们可能无法完全理解人类的创造力,我认为这是正确的。它还建议我们可能需要更复杂的评估工具,以区分人类和人工智能产生的创意。TTCT 是受保护的专有资料,因此 ChatGPT 无法通过访问互联网或公共数据库中的测试信息来”作弊”。

  长期以来,古兹克一直对创造力很感兴趣。在马萨诸塞州帕尔默小镇长大的七年级学生时,他参加了一个天才学生项目。那次经历让他了解到埃利斯-保罗-托伦斯(Ellis Paul Torrance)开发的”未来问题解决”程序,这位心理学家也是 TTCT 的创始人。古兹克说,他当时就爱上了头脑风暴,爱上了它如何发掘人类的想象力,他一直活跃在未来问题解决组织中,甚至在一次会议上认识了他的妻子。

  过去一年,Guzik 和他的团队在玩过 ChatGPT 之后,决定对其创造力进行测试。他说:”我们一直在探索 ChatGPT,我们注意到它做了一些我们意想不到的有趣事情。有些反应很新颖,令人吃惊。于是我们决定对它进行测试,看看它到底有多大的创造力。”

  古兹克说,TTCT 测试使用了模仿现实生活中创造性任务的提示。例如,你能想到一种产品的新用途或改进这种产品吗?

  ”比方说,这是一个篮球,”他说。”尽可能多地想一想篮球的用途。你可以在篮圈里投篮,也可以在展示架上使用。如果你强迫自己去思考新的用途,也许你可以把它切碎,用作花盆。或者用砖头堆砌东西,或者用作镇纸。但也许你可以把它磨碎,改造成全新的东西。”

  古兹克曾对 ChatGPT 抱有一些期望,希望它能善于创造很多想法(流畅性),因为这正是生成式人工智能的工作。在评估人员看来,ChatGPT 在回应提示方面表现出色,提出了许多相关、有用和有价值的想法。

  更让他感到惊讶的是,人工智能在产生原创性想法方面表现出色,而这正是人类想象力的标志。测试评估人员得到了一份提示的常见回答列表,这些回答几乎都是预期会提交的。然而,人工智能在提出新颖回答方面却名列前茅。

  ”在会议上,我们了解到一年前对 GPT-3 所做的研究,”Guzik 说。”当时,ChatGPT 在涉及原创性思维的任务上得分不如人类。现在有了更先进的 GPT-4,它已经进入了所有人类反应的前 1%。”

  随着人工智能进步的加快,他预计人工智能将成为未来商业世界的重要工具,并成为地区和国家创新的重要新动力。

  ”对我来说,创造力就是以不同的方式做事,”古兹克说。”我喜欢的创业定义之一是,创业就是以不同的方式思考。因此,人工智能可以帮助我们将创造性思维的世界应用到商业和创新过程中,这对我来说非常吸引人。”

  他说,UM 商学院对人工智能教学持开放态度,并将其纳入课程学习。”我认为,我们知道未来会以某种方式将人工智能纳入其中,”Guzik 说。”我们必须谨慎对待人工智能的使用方式,并考虑所需的规则和法规。但企业已经在使用它来完成许多创造性的任务。就创业和区域创新而言,这是一个改变游戏规则的因素。”

「点点赞赏,手留余香」

    还没有人赞赏,快来当第一个赞赏的人吧!
0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论