21、自主武器的道德考量与禁令探讨

自主武器的道德考量与禁令探讨

1. 人类自主性的内涵

自主性并不意味着完全不受约束。人类虽独立且有自我掌控能力，但无法违背物理和逻辑法则，比如人不能期望从高楼跳下后飞行，也不能同时既行走又不行走，这些限制并不损害人的自主性。而且，当人们因法律体现了自己的道德信念、原则和目标而选择遵守时，这也是自主行为，因为这些法律实际上是自我施加的。

自主的人能自行决定什么对自己重要和有价值，具备基于对相关因素（包括非道德事实、道德原则和最终道德目标）的认识、评估和回应来做出理性选择的能力。我们说一个行为是自主的，就是指这样的人基于这样的回应做出的行为。而机器人在这个意义上并非自主存在。

自主性有程度之分，部分由各种道德特征构成，如思想和行动的自由。我们没人能做到完全自主，因为我们都达不到完全理性、完美道德和绝对自我掌控等。而且这些方面因人而异，所以有些人比其他人更自主，一个人也可能在生活的某方面自主，而在其他方面并非如此。不过，当我们有足够的自主性时，就能获得自主人的地位，即有权自行决定如何生活。但如果自主性的构成道德特征受到损害，比如人被监禁，自主性就会被削弱。

一般认为，至少所有成年人都达到了自主人的地位，但这一假定是可被推翻的。如果能证明一个人在自主性的各种条件（如理性或自我掌控）上严重不足，就不应将其视为自主人，他人为其做决定可能就是合理的。但在没有这种情况时，我们都拥有自主人的地位。而对于机器人，不存在这样可被推翻的假定。

2. 自主武器的道德责任问题

所谓的自主武器，即人类脱离控制回路的武器，与人类的自主性不同，因为它们不会选择自己的最终目标，也对道德属性不敏感。现在的问题是，使用自主武器造成的杀戮，其道德责任该如何界定？是否存在责任缺口，导致人类程序员和操作者对这些杀戮不负道德责任，或至少不完全负责？

2.1 类比案例分析

有一个类比场景：一个恶棍训练他的狗按命令杀人，他给狗受害者的衣物让狗嗅其气味，然后命令狗去杀人。狗追着受害者进入森林，此时恶棍无法干预，狗杀死了受害者。恶棍在法律和道德上都要对谋杀负责，而狗虽可能因对人类生命有威胁需要被消灭，但它们并不承担道德责任。即使“气味”是通用的，狗杀死了这类潜在受害者中的一个，恶棍同样要承担法律和道德责任。

同理，人类脱离控制回路的武器（杀人机器人）对其造成的杀戮不承担道德责任。对于有人在控制回路或在控制回路旁的武器，如果武器的程序员/启动者和投放时的操作者是不同的人，在其他条件相同的情况下，他们要共同对武器造成的杀戮（无论是针对特定个人还是某类个体中的一员）承担道德责任。没人会认为武器除了有因果责任外，还需承担道德责任。如果将这种武器改成人类脱离控制回路的武器，那么人类程序员 - 启动者就应像上述场景中的恶棍一样，对杀戮承担全部个人道德责任。

2.2 机器人与道德责任

有人认为这个类比不成立，因为杀人狗和杀人机器人在相关方面不同。狗是有思维的生物，有一定意识，能感受痛苦，而计算机没有意识，不能感受痛苦或快乐，不在乎任何人或事，也不选择自己的最终目标，更无法识别道德属性，如勇气、道德清白、道德责任、同情或正义等，所以它们不能基于道德原则或目标行动。

计算机最多只能被编程来遵守一些非道德的道德要求替代物。例如，“不要故意杀害道德上无辜的人”可能被编程为“如果两足动物没携带武器或没穿特定描述的制服，就不要开火”。但问题是，这些非道德替代物与道德属性必然会在某些情况下出现分歧，从而导致错误的杀戮，比如无辜平民可能因穿迷彩服和携带自卫武器而被杀害，而隐藏炸弹的女恐怖分子却可能不被攻击。

还有人坚持认为机器人是有思维的主体，理由是它们能检测和响应环境特征，有强大的存储/检索和计算能力。但这种观点基于两个有争议且应被抵制的观点：一是将人类的理性思维（如理性决策和判断）贬低为仅仅是因果相连的状态或因果角色；二是将计算机的运作提升到心理状态的地位。这种观点在赋予自主能动性方面存在巨大问题，因为自主能动性涉及非算法推理思维能力，如产生新想法，而且计算机不会选择自己的最终目标，最多只能在被编程的目标下选择不同的手段，所以它们不是自主主体，即使是非道德的自主主体也不是。

2.3 相关情况列表

情况	说明
人类自主性	能自行决定重要和有价值的事，基于相关因素做理性选择，有程度之分，受道德特征影响
机器人非自主性	无自我意识，不能感受情感，不选择最终目标，无法识别道德属性
自主武器道德责任	人类程序员和操作者承担责任，武器本身无道德责任

2.4 相关流程 mermaid 图

graph LR
    A[人类自主性] --> B[自行决定价值]
    A --> C[理性选择能力]
    A --> D[受道德特征影响]
    E[机器人] --> F[无自我意识]
    E --> G[不能感受情感]
    E --> H[不选最终目标]
    E --> I[无法识别道德属性]
    J[自主武器] --> K[人类承担责任]
    J --> L[武器无道德责任]

3. 自主武器的禁止问题

使用自主武器不存在责任缺口，涉及多个承担集体道德责任的人类行为者。设计团队成员共同为提供伤害手段（武器）承担道德责任；政治和军事领袖及服从命令者共同为武器针对特定群体/个人使用承担责任；情报人员负责提供识别目标的手段，操作者负责在特定场合使用武器，他们都要为武器使用导致的死亡共同承担道德责任，但责任程度和方式不同。

3.1 个体与集体责任

每个对联合致命行动有贡献的人，都要对自己的个体行动贡献承担个人道德责任。比如武器操作者选择在某个场合使用致命武力，或在有人在控制回路旁的武器情况下，不阻止武器使用致命武力。这与对结果（如敌方战斗人员死亡、无辜平民死亡）的集体道德责任是一致的。

3.2 问责问题与解决方案

涉及多人参与和间接因果链的道德不可接受结果会产生问责问题。例如，一个脱离控制回路的武器系统因身份误认杀死了无辜平民，且在最后发现误认时没有覆盖功能。解决问责问题的方法是设计制度性问责。在这个例子中，武器设计者应共同承担制度性和道德责任，因为他们没设计覆盖功能，没确保武器系统安全；情报人员也应共同承担责任，因为他们导致了身份误认。政治和军事领袖及操作者也类似。

3.3 不需要人类控制的情况分析

有人认为在某些情况下不需要人类在控制回路中或在控制回路旁：
- 情况一 ：目标选择和武力投放实际上不能在所有情况下被覆盖，且不需要基于情境的道德判断。例如，没有足够时间决定击退即将到来的有人驾驶飞机的攻击，且战区飞机能明确识别为敌机。
- 情况二 ：只需要计算机基于明确程序（如投放致命武力）在精确指定的输入条件下（如根据设计识别为敌方潜艇）操作，且没有附带损害的可能（如在北极公海）。

但即使在这些情况下，也很难理解为什么不让人类在控制回路旁，因为可能仍需要人类来应对错误信息或异常情况。比如，所谓的“敌方”飞机或潜艇可能是己方人员缴获并操作的，或者己方飞机和潜艇可能被敌方控制（如通过复杂的计算机黑客攻击），这时就应该开火。

3.4 人类情感与自主武器

有人认为战争中机器优于人类，因为机器没有情感，而人类的压力和情感会导致错误。但人类情感能为道德判断提供信息，战争中需要道德判断。比如，对无辜平民的照顾责任依赖于关怀情感，这是机器人所没有的。而且，人类的压力和情感在很大程度上是可以控制的，比如通过适当选拔和训练战斗人员，让人员在远离行动的地方做决策以减少压力源的影响。

3.5 自主武器的结论

综上所述，人类脱离控制回路的武器既不必要也不可取。自主武器应该始终有人类在控制回路旁（如果不是在控制回路中），否则就是推卸责任。因此，应禁止使用人类脱离控制回路意义上的自主武器。

3.6 相关责任表格

人员角色	责任说明
设计团队	共同为提供伤害手段（武器）承担道德责任
政治和军事领袖	共同为武器针对特定群体/个人使用承担责任
情报人员	负责提供识别目标的手段，承担因目标识别错误的责任
操作者	负责在特定场合使用武器，承担使用决策的责任

3.7 决策流程 mermaid 图

graph LR
    A[自主武器使用情况] --> B{是否需要人类干预}
    B -->|是| C[人类在控制回路旁]
    B -->|否| D{是否有异常情况}
    D -->|是| C
    D -->|否| E[按程序操作]

4. 总结

自主武器与人类的自主性不同，使用自主武器不存在责任缺口，人类要对其造成的杀戮负完全道德责任。人类脱离控制回路的武器不可取，本质上存在道德问题，应该被禁止。

4.1 关键概念解释

• 自主武器 ：人类脱离控制回路的武器，能在一定程度上自主完成目标选择和武力投放等操作。
• 道德自主性 ：人能自行决定重要和有价值的事，基于对相关因素的认识、评估和回应做出理性选择，受道德特征影响。
• 人类在控制回路中 ：人类直接参与武器的操作和决策过程。
• 人类在控制回路旁 ：人类可以对武器的操作进行监督和干预。
• 人类脱离控制回路 ：武器在没有人类实时干预的情况下运行。
• 责任缺口 ：指在使用自主武器时，是否存在人类对造成的杀戮不负道德责任或不完全负责的情况。

4.2 思考与讨论

在一些学术圈子里，有人主张禁止人类脱离控制回路的自主武器。对于这个主张，正反双方都有理由。全面禁止这类武器是否合理？能否为脱离控制回路的武器开发伦理保障措施？还是这个问题太复杂，从政策角度不值得去推进？这些都是值得深入思考和讨论的问题。

5. 自主武器相关概念的深入剖析

5.1 自主武器的特点与风险

自主武器在一定程度上能够独立完成目标选择和武力投放等操作，但这也带来了诸多风险。其自主性可能导致在复杂多变的实际场景中出现误判，例如无法准确识别目标的真实身份和意图。而且，由于其脱离人类实时控制，一旦出现故障或被恶意操控，后果将不堪设想。

5.2 道德自主性的重要性

道德自主性是人类区别于自主武器的关键特征。它使人类能够在面对各种情况时，基于道德原则和价值观做出理性的选择。道德自主性不仅体现在个人的行为决策中，也影响着整个社会的道德秩序。例如，在战争中，人类可以根据对无辜平民的保护责任，做出符合道德的行动，而自主武器则缺乏这种能力。

5.3 不同控制模式的比较

控制模式	特点	优势	劣势
人类在控制回路中	人类直接参与操作和决策	能及时根据实际情况做出准确判断和决策	对人类的精力和能力要求高，可能受人类情绪和疲劳影响
人类在控制回路旁	人类可监督和干预	在保证一定自主性的同时，能应对异常情况	干预可能存在延迟，无法完全避免意外发生
人类脱离控制回路	武器自主运行	可快速响应，不受人类情绪干扰	缺乏人类的道德判断，易出现误判和不可控情况

5.4 相关概念关系 mermaid 图

graph LR
    A[自主武器] --> B[目标选择]
    A --> C[武力投放]
    D[道德自主性] --> E[理性选择]
    D --> F[道德判断]
    G[人类在控制回路中] --> H[直接决策]
    I[人类在控制回路旁] --> J[监督干预]
    K[人类脱离控制回路] --> L[自主运行]
    B --> M[可能误判]
    C --> N[存在风险]
    E --> O[符合道德]
    F --> P[保护无辜]
    H --> Q[准确判断]
    J --> R[应对异常]
    L --> S[缺乏道德判断]

6. 禁止自主武器的多维度分析

6.1 道德层面

从道德角度看，自主武器缺乏道德判断能力，可能导致无辜平民伤亡等不道德后果。人类的道德责任要求我们不能将生命的决定权完全交给没有道德意识的机器。例如，在战争中，对无辜平民的保护是一项基本的道德原则，而自主武器无法像人类一样基于情感和道德判断来履行这一责任。

6.2 法律层面

目前的法律体系在应对自主武器带来的问题时存在一定的局限性。例如，在确定责任归属时，如果自主武器造成了伤害，很难明确是程序员、操作者还是武器本身应承担责任。而且，现有的法律可能无法涵盖自主武器的所有行为和后果，需要进一步完善法律来规范其使用。

6.3 社会层面

自主武器的广泛使用可能会对社会产生负面影响。一方面，它可能加剧战争的残酷性，使战争变得更加冷血和无情；另一方面，可能引发公众的恐慌和不安，影响社会的稳定和和谐。例如，人们可能会担心自主武器的失控会对自己的生命和安全造成威胁。

6.4 技术层面

虽然技术的发展使得自主武器的性能不断提高，但目前仍然无法解决其在道德和责任方面的问题。技术本身无法赋予武器道德意识和判断能力，而且技术的漏洞和被攻击的风险也使得自主武器的安全性难以保障。

6.5 禁止自主武器的必要性总结

层面	必要性原因
道德层面	缺乏道德判断，易造成不道德后果
法律层面	现有法律难以确定责任归属，需完善法律规范
社会层面	加剧战争残酷性，引发公众恐慌，影响社会稳定
技术层面	无法解决道德和责任问题，存在安全风险

6.6 禁止自主武器决策流程 mermaid 图

graph LR
    A[考虑使用自主武器] --> B{是否符合道德要求}
    B -->|否| C[禁止使用]
    B -->|是| D{是否能明确法律责任}
    D -->|否| C
    D -->|是| E{是否有利于社会稳定}
    E -->|否| C
    E -->|是| F{技术是否安全可靠}
    F -->|否| C
    F -->|是| G[可考虑使用]

7. 关于自主武器争议的进一步探讨

7.1 支持自主武器的观点分析

部分人支持自主武器的使用，他们认为自主武器可以减少人类士兵在战争中的伤亡，提高作战效率。例如，在一些危险的环境中，自主武器可以代替人类执行任务，避免人类直接面对危险。然而，这种观点忽略了自主武器可能带来的道德和责任问题，以及对社会的潜在影响。

7.2 反对自主武器的观点强化

反对者强调自主武器的不可控性和道德风险，认为人类的道德和责任不能被机器取代。他们指出，即使自主武器在某些方面表现出优势，但在涉及生命和道德的问题上，人类的判断和决策仍然是不可或缺的。而且，禁止自主武器有助于维护人类的尊严和价值。

7.3 争议焦点总结

争议焦点	支持方观点	反对方观点
减少人类伤亡	自主武器可代替人类执行危险任务，降低伤亡	不能以牺牲道德和责任为代价换取人类安全
提高作战效率	能快速响应和执行任务，提高效率	缺乏道德判断，可能导致更严重后果，影响作战正义性
道德和责任问题	可通过技术手段解决责任归属	技术无法赋予武器道德意识，责任难以明确

7.4 争议解决思路 mermaid 图

graph LR
    A[自主武器争议] --> B{是否能解决道德问题}
    B -->|否| C[禁止使用]
    B -->|是| D{能否明确责任归属}
    D -->|否| C
    D -->|是| E{是否符合社会价值观}
    E -->|否| C
    E -->|是| F[可合理使用]

8. 结论

自主武器在现代战争和社会中引发了诸多争议。虽然其在某些方面具有一定的优势，但从道德、法律、社会和技术等多维度来看，人类脱离控制回路的自主武器存在严重的问题，应该被禁止。我们应该重视人类的道德自主性和责任，不能让机器完全取代人类在生命和道德决策中的地位。同时，对于自主武器相关的争议，需要我们进一步深入探讨和研究，寻求更加合理和可行的解决方案，以确保科技的发展符合人类的利益和价值观。

在未来，我们可以探索如何在保障道德和责任的前提下，合理利用科技的力量，开发出更加安全、可靠且符合人类道德标准的武器系统或其他技术产品。这需要政府、科研机构、企业和社会各界的共同努力，制定严格的规范和标准，加强对技术的监管和评估。只有这样，我们才能在科技进步的道路上，实现人类社会的可持续发展和安全稳定。