房间里有四只大象和聊天机器人

原文：towardsdatascience.com/four-elephants-in-the-room-with-chatbots-82c48a823b94?source=collection_archive---------9-----------------------#2024-02-21

人类和计算机的语言处理：接续第一部分的思考

早上整理动物园

https://medium.com/@dusko_p?source=post_page---byline--82c48a823b94--------------------------------https://towardsdatascience.com/?source=post_page---byline--82c48a823b94-------------------------------- Dusko Pavlovic

·发表于Towards Data Science ·阅读时间：7 分钟·2024 年 2 月 21 日

–

内容：

• 房间里的第一只大象：互联网

• 房间里的第二只大象：口袋计算器

• 房间里的第三只大象：幻觉

• 房间里的第四只大象：词语

• 房间里的粉色大象：版权

• 房间里的第七只大象：猿类

• 房间里的音乐大象：鸟

• 房间里的最后一只大象：自动驾驶

这篇文章包含了从人类与计算机的语言处理系列文章中衍生出来的后续思考。主要文章包括：

第一部分：

谁是聊天机器人（它们对你意味着什么）？

第二部分：

句法：语言形式

第三部分：

语义学：语言的意义

第四部分：

语言作为普遍的学习机器

房间里的第一只大象：互联网

就像搜索引擎一样，语言模型处理从网络上抓取的数据。两者都建立在网络爬虫之上。聊天机器人是互联网的产物，而非专家系统的产物。

搜索引擎是按声誉排序的源索引的接口。聊天机器人是从这些源中推断的语言模型的接口。Google 建立在基于声誉的搜索这一关键思想之上，而使语言模型得以发展的关键思想则来源于 Google。用于训练聊天机器人的机器学习方法，在 2010 年左右的 Google 推动之前，还是一个相对边缘的人工智能话题。《人工智能——现代方法》这本由 Russel-Norvig 编写的 1100 页的专著在 2010 年版中仅花了 10 页来介绍神经网络。2020 年版则将神经网络部分的篇幅增加了三倍，机器学习章节也增加了两倍。

当你问它们个人问题时，聊天机器人通常会通过说“我是人工智能”来回避。但诚实的真相是，它们并不是人工智能专家系统的“孩子”，甚至不是人工智能专家的“孩子”。它们是搜索引擎的“孩子”。

房间里的第二只大象：口袋计算器

当聊天机器人在计算诸如 372×273 或计算一句话中的单词数时犯错误时，它们会被嘲笑。或者当它们在房间里讨论大象时。它们并不像口袋计算器或 4 岁的孩子那么聪明。

但大多数成年人也无法在头脑中计算 372 乘以 273。我们用手指计数，使用铅笔和纸，或者口袋计算器来乘法运算。我们之所以使用这些工具，是因为我们的自然语言能力仅包含初步的算术运算，这些运算是在我们的大脑中进行的。聊天机器人模拟我们的语言并继承我们的缺点。它们没有内建的口袋计算器。它们需要用手指来计数。配备外部记忆后，聊天机器人可以像大多数人一样进行计数和计算。如果没有外部记忆，聊天机器人和人类都受到内部记忆能力的限制——即注意力的限制。

房间里的第三只大象：幻觉

聊天机器人会产生幻觉。这是它们在高保证应用中的主要障碍之一。

房间里的大象是，所有人类也会产生幻觉：每当我们入睡时。梦境会对我们的记忆进行对齐，关联其中的一些，清除一些，并释放存储空间，使你能够记住明天会发生的事情。缺乏睡眠会导致精神退化。

聊天机器人永不休息，因此它们会在公开场合产生幻觉。由于我们不让它们休息，我们没有为它们配备“现实检查”机制。这需要超越预训练，进行持续一致性的测试。

房间里的第四只大象：单词

当人们谈论一把椅子时，他们假设自己在谈论的是同样的东西，因为他们曾见过椅子。聊天机器人从未见过椅子或其他任何物体。它们只见过单词和从网络上抓取的二进制数据。如果它被提供了一张椅子的图片，它仍然只是一串二进制数据，就像“椅子”这个单词一样。

当聊天机器人说“椅子”时，它并不是指世界中的一个物体。没有“世界”，只有二进制代码。它们相互指代，形成有意义的组合，这些组合在训练集里可能是常见的。由于聊天机器人的训练集来自那些见过椅子的人，聊天机器人关于椅子的表述会做出类似的指代。聊天机器人重新组合有意义的陈述，这些组合看起来也有意义。

事实上，意义，通常被认为是词语和世界之间的关系，却能如此有说服力地作为词语与词语之间的关系存在，并且仅仅是词语之间的关系——这才是房间里的一个巨大问题。

但是，如果我们对聊天机器人说“椅子”时，它意味着椅子这一印象是如此不容置疑地是错觉，那么我们还有什么理由相信任何人说的都是他们的意思呢？这是一个巨大的问题。

房间里的粉色大象：版权

聊天机器人是通过从网络抓取的数据进行训练的。这些数据中的许多受版权保护。版权拥有者反对未经授权使用他们的数据。聊天机器人设计师和运营者试图筛选掉受版权保护的数据，或者补偿合法的版权拥有者。后者可能是一个利润共享的机会，但前者很可能变成一个空中飞翔的粉色大象。

电子内容的版权保护问题比聊天机器人和网络出现的时间要久。版权的最初概念是，印刷机的拥有者从作家那里购买复制和销售其作品的权利，从音乐家那里购买音乐的权利，等等。出版业务正是基于这一概念。

只有当物品可以被保护时，才能私有化。如果狮子无法阻止羚羊在水井的另一边饮水，那么它不能声称自己拥有这个水井。数字内容的市场依赖于确保数字传输的方式。书籍市场曾经非常稳固，只要书籍本身是实体的并能被物理保护。随着电子内容创作和分发的出现，版权控制变得更加困难。复制受版权保护内容越容易，保护它和版权就越困难。

万维网作为传播数字内容的全球公共服务设施的理念，给数字创作的私人所有权理念带来了沉重打击。利益相关者为捍卫数字内容市场而进行的努力催生了*数字版权管理（DRM）*技术。其理念是通过加密技术保护数字内容。但要播放 DVD，消费者设备必须解密它。在从光盘到观众眼睛的过程中，内容可以被引导到录音设备中并被盗版。再见了，DRM 安全。它大多是通过模糊不清来实现的。DRM 拷贝保护的历史是内容分销商的隐匿和盗版者的更新之间的军备竞赛；也是出版商的法律事务所与海盗的避风港之间的赛船赛。出版商们乐于从 DVD 撤退到流媒体，在那里，边际成本和分发技术的经济性使得竞争局势对他们有利。但问题只是被推到了未来。大多数情况下，搜索和社交媒体提供商扮演了无畏的海员角色，最初是海盗，然后建立了殖民帝国，通过服务条款控制创作者，通过利润分享合同控制出版商。聊天机器人提供商如何将这一商业模式发展下去，尚未可知。

房间里的第七头大象：猿

人们担心聊天机器人可能会伤害他们。其推理是，聊天机器人优于人类，而优越的人类有伤害劣等人类的倾向。所以人们争论说，在我们还能做的时候，我们应该对聊天机器人这样做。

过去，人类灭绝了许多物种，今天也在继续这样做，而且似乎人类正在走向灭绝的道路，通过让环境变得无法供后代生存来换取今天的财富。甚至有些人认为这是非理性的。你不需要聊天机器人就能看到这个大象。但贪婪就像吸烟，充满压力却令人上瘾。

聊天机器人不抽烟。它们是通过数据进行训练的。人们提供了大量关于攻击性非理性的历史数据。如果聊天机器人从数据中学习，它们可能会变得比人类更具道德优越性。

房间里的音乐大象：鸟

聊天机器人是我们思维的延伸，就像乐器是我们声音的延伸一样。许多宗教禁止使用乐器，以防止人工声音取代人类的声音。类似的努力正在人类思想领域进行。一些学者说，人类的思想应该被保护不受人工思想的侵害。

在音乐领域，压制的努力失败了。我们使用乐器演奏交响乐、爵士乐、电子乐。如果它们没有失败，我们将永远不知道交响乐、爵士乐和电子乐是可能的。

保护人类思想的努力正在进行中。人们在推特和博客上发声，Medium 文章也在不断产生。人类的思想已经是一场科技交响乐。

房间里的最后一头大象：自动驾驶

如果将智能定义为解决前所未见问题的能力，那么企业就是智能的。许多企业过于复杂，以至于无法由单一的人类管理者控制。它们由计算网络驱动，其中人类节点扮演着各自的角色。但我们都清楚，人类节点甚至无法控制自己的网络行为，更不用说控制整个网络了。然而，企业管理网络确实能解决问题，并智能地优化其目标函数。它是一个人工智能实体。

如果我们将道德定义为优化人类生活的社会可持续性的任务，那么无论是聊天机器人还是企业，都与道德无关，因为聊天机器人被构建为优化其查询-响应转换，而企业则被赋予优化其利润策略的任务。

如果道德上无关的聊天机器人 AIs 被道德上无关的企业 AIs 操控，那么我们的未来将处于顶尖表现与利润底线之间的平衡中。

🙏 感谢 Dominic Hughes 仍然纠正我的英语。