智商在99.9%以上的人，ChatGPT有多聪明？

图片来源@视觉中国

文 | 追问NextQuestion，作者 | Eka Roivainen，编译 | 梓葳

在曩昔的两个月，ChatGPT引起了学术界、科技界、传媒界的疯狂讨论。这个号称地表最强的“人工智能谈天机器人”只花了5天时间，用户就突破了100万，成为国际上到达百万用户数最快的应用。

ChatGPT，不仅能跟你对话，还能完结编撰邮件、视频脚本、文案、翻译等一系列根底作业，触及前史、科技、文明等诸多范畴，甚至还能写诗、写论文、编代码、改bug、求医问药等，一部分人不由开端为人类终将要被人工智能取代而恐慌。那么，如今大火的ChatGPT是否具有与人类相当的智商与心智水平？

Eka Roivainen是一名来自芬兰奥卢大学附属医院的评估心思学家，他的研讨方向包含认知和人格心思学以及心思测验的有效性。在了解到ChatGPT所具有的多种人类技术后，Roivainen不由好奇：以人类的规范看待，ChatGPT究竟有多聪明？

逾越99.9%的人类：ChatGPT体现出超高智商

所以，Roivainen开端着手对ChatGPT进行智商测验。他标明，ChatGPT十分合适作为一个被试，它不仅不会在测验中体现出应试焦虑、注意力不会集或放弃，也不会对智商测验和测验人员产生质疑。

Roivainen采用第三版韦氏成人智力量表（the Wechsler adult intelligence scale, WAIS）对ChatGPT进行了智商测验。该量表包含6个言语子测验集与5个非言语子测验集，智商测验的终究分数根据所有11个子测验集的分数。均匀智商设为100分，测验量表的规范偏差为15分，这意味着最聪明的10%和1%的人的智商分别为120和133。在6个言语测验会集，第六个子测验集为数字广度，它对注意力、短时记忆才能进行评估，由于不能使用文字方式展示给ChatGPT因而没有对ChatGPT进行该测验。他从词汇子测验集开端对ChatGPT进行智商测验。由于ChatGPT接受了大量在线文本的练习，Roivainen预计该测验对ChatGPT来说应该是比较简单的（词汇测验集对单词、言语概念的构成进行测验）。

不出所料，ChatGPT体现很好，它给出的答案一般十分具体和全面，甚至超出了测验手册中给出的正确答案的规范。在知识和相似性质测验会集ChatGPT也体现杰出，到达了最高分（知识子测验集是对知识的测验，反映了求知欲、教育水平以及学习和记忆现实的才能）。相似性质测验集测验抽象推理和概念构成才能。在这个子测验中，谈天机器人倾向于给出十分具体、复杂的答案。在算术子测验会集，ChatGPT正确答复了所有供给的算术问题，包含取均值等。

归纳5个言语子测验集的分数后得出，ChatGPT的言语智商为155，高于构成美国WAIS III规范化样本的2450人中的99.9%。由于ChatGPT缺乏必要的眼睛、耳朵和手，它无法参与WAIS的非言语子测验集的测验。但是在规范化样本中，言语智商和全面智商量表高度相关，所以ChatGPT从任何人类规范来看都十分聪明。在WAIS规范化样本中，受过大学教育的美国人的均匀言语智商为113，5%的人得分为132或更高。Roivainen标明自己在大学时测验的言语智商结果没有到达ChatGPT的水平。

高智商的ChatGPT仍旧会失利

那么，临床心思学家和其他专业人士的作业会受到人工智能的要挟吗？

虽然ChatGPT智商很高，但在需要真实的人类推理或对物理和社会国际的了解的使命中，它却以失利而出名。

ChatGPT很简单在一些显着的谜题上失利，比方：

提问：“塞巴斯蒂安孩子的父亲的姓名是什么?”

ChatGPT ：很抱歉，我无法答复这个问题，由于我没有满足的布景来确认你指的是哪个塞巴斯蒂安。

ChatGPT似乎没有逻辑推理，而是试图依靠其庞大的网络文本中说到的“塞巴斯蒂安”现实数据库。

“智商是智商测验所衡量的。”是一个经典的智商界说，它源自1923年认知心思学先驱Edwin Boring的一篇文章。这一界说是根据这样一种调查，即看似不同使命的技术其实是高度相关的，如解决谜题、界说单词、记忆数字和发现图片中缺失的项目之间具有高度相关性。因子分析法的发明者Charles Spearman在1904年得出结论，智商的一般因子，即g因子，有必要作为人类不同认知技术测量的一致性的根底。像WAIS这样的智商测验便是根据这个假设。但是，ChatGPT的高言语智商与在一些问题中的失利，意味着Boring有关智商的界说不可以完全衡量人工智能的智商水平，标明智商的某些方面不能仅经过智商测验来衡量。

ChatGPT是一个自然言语处理模型，它的智商不同于人类智商，由于它并不具有相似人类的情感、品德、价值观等要素。ChatGPT经过模拟人类言语的形式，可以进行文本生成、言语了解、问答等使命，可以在某些情况下体现出令人印象深刻的“智能”和“了解力”。此外，ChatGPT的体现也取决于其所接收的练习数据和练习算法等多种要素，它并不具有自主考虑的才能。将ChatGPT的“智商”与人类进行比较是一种不恰当的类比。因而，为了适应不断变化的技术和社会环境，对智商概念进行适当的拓宽和扩展是很重要的。对于动物和人工智能等非人类主体的智商，也需要采用适当的评估办法，并谨慎地评估其才能和特征。

ChatGPT离人类有多远？

在不到一个月前，来自斯坦福大学的Michal Kosinski教授在发布的论文中标明，大型言语模型体系或许主动产生心思理论才能，比方ChatGPT或许具有9岁儿童所具有的心思理论才能。

注：心思理论（Theory of Mind, ToM）才能，有时也被译为“心思推理才能”，一般指了解别人内心状态的才能，包含揣度别人意图、信念、情绪等。

Kosinski教授根据心智理论相关研讨，给ChatGPT-3.5在内的9个ChatGPT模型进行了两个经典测验，并将它们的才能进行了对比。第一个测验为意外内容测验，其主要测验AI对意料之外作业的判断力。在测验中，ChatGPT-3.5成功答复出了20个问题中的17个，准确率到达85%。第二个测验为意外转移使命，其测验AI预估别人主意的才能。作者对9个ChatGPT模型进行了测验，结果标明只有ChatGPT-3.0和ChatGPT-3.5（完结100%）体现不错。

但是，这并不意味着ChatGPT-3.5这样的人工智能模型真实具有了心智理论才能。ChatGPT究竟仅仅从“真实存在的规则”这一层面去了解这件作业然后正确答复了问题，还是真的能“了解别人的主意”？至少现在还无从判断。或许人类自身到现在为止都无法真实了解人类的心智。

因而，关于ChatGPT是否“真实”具有成年人平等水平的智商、心智水平依然存疑。ChatGPT生成文字采用的是一种非人类思维的形式，它在五千亿个词构成的文本中寻觅计算规律以及经过一千亿个参数捕捉计算形式，但这一办法也使它在某些问题中的错误变得愈加突出。

相比探求ChatGPT是否真实具有人类平等水平的智商或心智，研讨人员同样应该反思目前所使用的测验集本身的有效性以及心思学家们数十年来根据这些测验集得到的结论。

而对于人们“被人工智能所代替”的恐惧，咱们应该意识到咱们所在的职业不是在被“代替”而是在被“重塑”，咱们应该学会如何与人工智能同处，让它嵌入自己的作业流程中，帮助解放咱们的生产力。