探索互联网宇宙ing

开发它所需的算力甚至可能是上百亿倍。然而，随着人们意识到简单统计无法覆盖所有语言现象，尤其是之前未见过的现象，开始着手深度挖掘语言中的语法和语义信息，这需要更大的计算量。我们前面讲到，ChatGPT的核心是语言模型，而语言模型是需要用大量的数据来训练的，有了数据后，还需要强大的算力支持，然后还需要有足够高水平的并行计算和机器学习的算法支持。今天，很多机器学习的算法已经开源了，有些应用已经有公司和研究机构投入科研力量开发过，比如基本的图形识别和语音识别技术，但是深度的自然语言理解其实还不属于这个范畴。

如果ChatGPT这样的服务将来真的很流行，你会看到一个苹果版的，但不是在今天。国内有些媒体很有意思，它把赞誉ChatGPT的报道翻译了过来，然后根据自己有限的体验，增加了一些耸人听闻的报道，甚至对一些专家的评论断章取义。其实大家如果有心把那些媒体过去的十年里对热门技术的报道翻出来，就会发现当初炒VR的、区块链的、元宇宙的、自动驾驶汽车的，都是同一批人。咱们想想如果在今天，当从来没有从事过计算机行业工作的人也开始大谈AI，甚至觉得自己比专业人士更懂，甚至开始对计算机领域的人指手画脚的时侯，我们就要警惕了。

开发它所需的算力甚至可能是上百亿倍。然而，随着人们意识到简单统计无法覆盖所有语言现象，尤其是之前未见过的现象，开始着手深度挖掘语言中的语法和语义信息，这需要更大的计算量。我们前面讲到，ChatGPT的核心是语言模型，而语言模型是需要用大量的数据来训练的，有了数据后，还需要强大的算力支持，然后还需要有足够高水平的并行计算和机器学习的算法支持。今天，很多机器学习的算法已经开源了，有些应用已经有公司和研究机构投入科研力量开发过，比如基本的图形识别和语音识别技术，但是深度的自然语言理解其实还不属于这个范畴。

在此之前，推特的人工干预就造成了很坏的影响。例如，如果ChatGPT被误导，学习了很多不靠谱的信息，而ChatGPT学习了那些内容后，会将不靠谱的表现放大。你给它提供高质量的数据，它就会产生一个高质量的语言模型，然后给出高质量的答案，写出高质量的文章。1、ChatGPT的缺陷有些是可以改进解决的，有些则是ChatGPT固有的问题，甚至是今天机器学习方法固有的问题，要解决是很难的。我先说结论：有些问题是可以通过改进解决的，有些则是ChatGPT固有的问题，甚至是今天机器学习方法固有的问题，要解决是很难的。

对计算机来说，除了涉及"为什么"和"怎么做"的问题，其他问题都属于简单问题。在这个例子中，问题的主题词是"美国总统"，疑问词是"是谁"，然后ChatGPT通过统计网上与这个问题相关的答案，建立一个关于"美国总统"的语义框架或知识框架。要知道它不是一对一的直接给出正确结果，相反它会给出多个可能的答案，并根据答案的概率进行排序，最终返回最可能的答案。这是因为这类问题很少在网络上被讨论，或者网络上没有足够靠谱的答案，而ChatGPT缺乏像人一样运用知识去寻找答案的能力，它只能从现有的答案中归纳总结。

尽管它可以学习大量知识，并在某些领域表现出色，但比如像之前的问题，“天为什么是蓝色的”，能得到完美的答案，那是因为之前有物理学家进行了研究，并且他们的解释得到了更多物理学家的认可。就像同样是阅读《红楼梦》，有的人把它当作宝黛爱情故事来读，有的人把它当作官僚家庭的生活来读，也有人将它当作中国农耕社会的缩影来读。再比如ChatGPT做小学算术应用题，甚至参加一些语文考试，比它参加研究生入学考试的成绩都要差很多，原因就是，那些小学生的题它没见过，研究生入学考试都是标准化的，有很多过去的考试题可以找到。

当人和人交谈的时候，我说“中国是一个古老的国家”这句话，在空气中或者电话线上传播的是声音的波形，而在接听者那里听到的，其实是带有噪音的声音，他需要接收声音的波形，来还原讲话人说的话。其实，无论是在工业上，还是在信息产业上，技术确实是可以改变的，但是物理学和信息论的原理和极限是无法改变的。“国中是一个古老的国家”的概率是0.05，“中国是一个古老的国家”的概率是0.2，其它几个候选句子的概率都是0.01，于是我们就认为，概率最高的“中国是一个古老的国家”，就是讲话人讲的句子。这里面最重要的关键词是“数学”。

计算机的语言奇迹：探秘ChatGPT的智能回答和写作能力