意见征集，世界AI智商评测量标准2018年新版讨论方案

来源：未来智能实验室

对于本次2018年世界AI智商评测的量表更新 ，有两个问题希望得到您的意见：1.如果按上述智力因素进行增加，您认为他们的权重应该是多少，其他已有的智力因素权重应该调整为多少；2.您认为考察智能的发展水平，还应该有哪些智力因素值得考察。或者您对于测试AI与人的智商并进行对比，关于我们建立的标准智能模型，您有什么更好的建议。对于优秀的参与者，将获得未来智能实验室的奖励，并邀请参加2018年AI智商评测专家研讨活动。

2017年11月20日，未来智能实验室（FutureAILab）启动2018年世界AI智商评测活动（WorldAI IQ Test 2018），对世界范围人工智能系统智能发展水平进行新的评测。以观察世界范围内人工智能最新发展水平以及与人类的差距。这也是第三次世界AI智商评测。

一、人工智能智商评测的困难所在

我们知道，人工智能定量评测目前面临两个重要挑战：第一，人工智能系统目前没有形成统一的模型；第二，人工智能系统与以人类为代表的生命体之间目前没有形成统一的模型。

而这两个挑战都指向了同一个问题，即对于所有的人工智能系统和所有生命体（特别是以人类为代表的生命体）需要有一个统一的模型进行描述，只有这样才能在这个模型上建立智力测量方法并进行测试，从而形成统一的、可进行相互比较的智力发展水平评价结果。

从1950年图灵测试提出以来，科学家已经为人工智能发展的评价体系做了很多工作。

1950年，图灵提出了著名的图灵实验，采用提问和人类裁判的方法，判断一台计算机是否具有同人相当的智力。作为最被广泛应用的人工智能测试方法，但图灵测试并不检验Ai的智能发展水平，只是判断智能系统能否与人类智能相同，而且受人为因素干扰太多，严重依赖于裁判者和被测试者的主观判断，因此往往有人在没有得到严格验证的情况下宣称其程序通过图灵测试，

2015年3月24日“美国科学院院刊（PNAS)发表一篇论文，提出一种新的图灵测试方法“Visual Turing test” ，这种测试方法用来对计算机的图像认知能力进行更为深入的评估。

2014年美国佐治亚技术学院的瑞德教授（Mark O. Riedl）认为，智能的本质在于创造力。他设计了一个叫做Lovelace 2.0 版本的测试。Lovelace 2.0 的测试范围包括：创作有虚拟故事的小说、诗歌创作、油画和音乐等。

在解决人工智能定量测试的问题上，包括图灵测试在内的各种方案，还存在无法定量分析人工智能，或者只定量分析智能的某个方面的问题，但这个系统究竟达到人类智慧的百分之多少，发展速度与人类智慧发展速度比率如何，这些问题在上述研究中没有涉及。

二，未来智能实验室的研究-标准智能模型

从2014年开始，未来智能实验室研究团队，参考冯·诺伊曼结构、戴维·韦克斯勒人类智力模型、知识管理领域DIKW（Data, Information, Knowledge, Wisdom，数据、信息、知识、智慧）模型体系等。分别在2014年和2015年发表论文提出建立“标准智能模型”，统一描述人工智能系统和人类的特征和属性。

其中，冯·诺伊曼结构给我们的启发是：标准智能系统模型应包含输入/输出系统，能够从外界获取信息，能够将内部产生的结果反馈给外部世界。只有这样，标准智能系统才能成为“活”的系统。

戴维·韦克斯勒关于人类智能的定义给我们的启发是：智力能力由多个要素组成，而非图灵测试或视觉图灵测试那样只关注智力能力的一个方面。

DIKW模型体系给我们的启发是：智慧是一种解决问题、积累知识的能力；而知识是人类不断与外界交互后沉淀下来结构化的数据和信息。一个智能系统不仅仅要掌握知识，更重要的是还要有解决问题的创新能力。

这种对知识的掌握能力、解决问题的创新能力与戴维·韦克斯勒理论、冯·诺伊曼架构相结合，就可以形成智能系统智力能力的多层次结构“标准智能模型”

三，根据标准智能模型建立的第一版人工智能智商测试量表

研究团队根据标准智能系统模型的特征要点，从知识的获取能力（观察能力）、知识掌握能力、知识创新能力，知识的反馈能力（表达能力）等四大方面建立AI智商评价体系,并从这四个方面建立15个分测试，形成人工智能智商测试量表，具体介绍如下：

在2014年，对世界50个AI系统和3个不同年龄段人类进了测试。2016年2月，研究团队开展了“2016年人工智能系统的智商测试”，对包括谷歌、百度、搜狗、苹果Siri、微软小冰在内的人工智能系统进行了测试，从测试结果看，谷歌、百度等人工智能系统的性能比两年前已有大幅提高，但仍与6岁儿童有一定差距。

相关研究方法和测试结论发表在IJIT & DM、Annals of Data Science、中国计算机学报等SCI、EI，中国核心期刊上，这一研究成果受到了美国著名财经媒体CNBC，麻省理工科技评论，ZDNET，YAhoo等美国，德国、日本、意大利、英国、法国、俄罗斯、新加坡、台湾地区和中国大陆媒体的报道。

四。世界AI智商评测量表2018年新版讨论方案

从最近几年对人工智能的发展和对关于智能的最新研究。未来智能实验室将对AI智商评测量表从测试分类和分类权重进行调整，主要调整的内容包括（红色代表修改和更新的指标项）