AIGIS的博客

近日，Cognition Labs（就是之前推出Devin功能的公司）推出了一个新功能DeepWiki，可以分析GitHub上任意公开的仓库架构，大大降低了开发者的学习成本。正好我们就用这个工具分析一下Cesiumjs库和Cesium-Terrain-Builder库。这两库分别是用JavaScript和C++实现的。之前作者曾用AI分析过Cesium-Terrain-Builder，希望能转成Java语言来进行实现，但是很遗憾，AI转的乱七八糟，这一功能也许能为我们提供新的思路。

随着大语言模型（LLM）日益成为自主智能体决策的核心，确保其输出保持安全、符合伦理，并持续与人类目标对齐已成为一个紧迫的挑战 [1386, 402, 1387]。传统的对齐技术，特别是基于人类反馈的强化学习（RLHF），通过融入人类偏好，在改进大语言模型行为方面发挥了重要作用 [110, 43]。

前面的章节详细说明了 AI 智能体与记忆系统、物理和数字环境以及其他智能体交互时产生的重大安全风险。这些风险，从数据毒化和代码注入到传感器欺骗和串通，突显了日益复杂的基于智能体的系统固有的脆弱性。然而，随着 AI 智能体变得越来越强大，利用自然语言理解和专业工具进行复杂推理，研究人员正在积极开发安全协议来应对这些挑战。这些协议对于通用智能体和特定领域智能体的方法有所不同。通用智能体，设计用于跨不同领域的多功能性，面临着广泛的安全挑战。为了减轻这些风险，研究人员开发了几种方法来增强其安全性。

先进的大语言模型在自我纠正过程中可能会无意中降低自身响应的质量，这强调了需要更鲁棒的内在推理验证机制[1348]。由于在成功的攻击下，智能体的下一个行动对用户任务的依赖性降低，而对恶意任务的依赖性增加，一些研究人员通过使用掩码函数修改用户提示并重新执行智能体的轨迹来检测攻击[1351]。关于多智能体系统中对抗性攻击的研究表明，被篡改的消息会显著降低协作AI智能体中多视图对象检测和基于LiDAR的感知的性能，突显了基于传感器的对抗性扰动的风险[1320]。

以上各节详细阐述了针对人工智能体核心——“大脑”（大语言模型）——的一系列安全和隐私威胁。从越狱、提示注入到幻觉、不对齐和投毒攻击，很明显，大语言模型在决策中的核心作用使其成为对手的主要目标。本章反复出现的一个主题是强调无需训练（training-free）的缓解策略。提出的许多防御措施，例如针对越狱的输入净化和过滤 [1235, 1286]、针对幻觉的不确定性估计 [1249] 以及针对不对齐的安全层 [1179]，都至关重要，因为它们实用、可扩展、适应性强，并且通常与模型无关。重新训练大型模型成本高昂。

从单智能体系统向多智能体系统，特别是基于大语言模型（LLM）的系统的转变，要求评估范式发生根本性变化。与单智能体评估（其直接关注点是特定任务的性能）相比，基于大语言模型的多智能体系统的评估必须从整体的智能体间动态角度来理解，例如协作规划和沟通有效性。本章既探讨了面向任务的推理评估，也探讨了整体能力评估，反映了此类评估的细微差别。更具体地说，我们考察了两个主要的评估领域。首先是任务解决型多智能体系统（MAS），我们在此考察了评估和增强大语言模型在编码、知识和数学问题解决任务中推理能力的基准。这些测试也突显了通

在本章中，我们详细探讨了这些有目的的交互，审视了一个智能体如何在多智能体系统（MAS）中影响协作。我们引用了源自人类社会结构的多样化交互行为，通过交互目的、交互形式以及形成的关系进一步解释了多智能体协作。多智能体系统 (MAS) 由多个智能体组成，这些智能体在共享环境中交互，自主决策以协作完成任务或相互竞争 [1041]。在我们的语境中，我们关注协作现象，因为它们在大多数实际应用中广泛出现。基本上，MAS 中的每个智能体都配备了不同的角色和初始知识，并拥有自己的一套目标。在参与问题解决或通信时，智能体与其他

本节探讨基于大语言模型的多智能体系统（MAS）中的交互类型及其对通信、协作和任务执行的影响。我们首先分析静态拓扑——其中连接模式由领域知识固定——然后探索动态（自适应）拓扑，这些拓扑根据性能指标、工作负载变化或战略约束调整智能体间的连接。最后，我们讨论可扩展性挑战以及在平衡系统成本、性能和鲁棒性方面的权衡，借鉴了分布式处理、自组织和涌现协作行为的最新研究。静态拓扑由预定的结构模式定义，这些模式在系统执行期间基本保持不变。在这些

在基于大语言模型的多智能体系统（LLM-MAS）的背景下，协作目标和协作规范是塑造系统行为、交互模式和整体有效性的基础要素。协作目标明确了智能体旨在实现的具体目标——无论是单独、集体还是竞争性地——而协作规范定义了管理系统内智能体交互的规则、约束和惯例。这些组件共同建立了一个强大的框架，指导智能体之间有效的沟通、协调和合作。本节根据协作目标和规范的不同组合，将基于大语言模型的多智能体系统（LLM-MAS）分为三大类：策略学习、建模与仿真以及协作任务解决。尽管这些类别并非详尽无遗，但它们涵盖了广泛的 LLM-

在前面的章节中，我们主要从技术角度讨论了智能体系统的演化，重点是如何开发能够有效执行传统上由人类执行的明确定义任务的系统。然而，一个根本且重要的问题仍然存在：这些智能体能否驱动一个自我维持的创新循环，从而推动智能体进化和人类进步？科学知识发现是智能生物自我进化的一个引人注目的例子，因为它帮助它们以可持续的方式适应世界。能够在不同自主水平上以安全方式发现科学知识的智能体，也将在人类的技术创新中扮演重要角色。在本节中，我们概述了使用智能体工作流进行自主发现的进展，并讨论了实现完全自主、自我进化智能体的技术准备情

在追求自我改进的过程中，智能体利用优化，既作为一种精炼个体组件（如提示设计、工作流编排、工具利用、奖励函数调整，甚至优化算法本身）的机制，也作为一个战略框架，确保这些个体改进朝向一致的性能提升方向对齐。这个自适应微调阶段直接符合智能体自我改进范式，通过允许实时优化特定于智能体的工作流和行为来实现，以 Decision Mamba-Hybrid (DM-H) [857] 为例，其中智能体能高效适应复杂、不断变化的场景。这些混合方法将结构化的离线优化与响应式的在线更新相结合，以实现持续的增量智能体增强。

在本章中，我们介绍并讨论将大语言模型概念化为优化器的现有工作。首先，我们注意到大多数现有研究侧重于方程 (9.1) 中定义的提示优化问题，因为优化智能体工作流的其他组件仍然是一个新兴的研究领域。接下来，我们将其与经典的迭代算法进行类比，并探讨它们如何融入现代优化工作流。传统优化方法在目标函数可访问性的假设上有所不同。我们将它们分为三大类，每一类的输入空间范围逐渐扩大：基于梯度的优化，依赖于显式的函数梯度；零阶优化，无需梯度信息即可运行；以及基于大语言模型的优化，它超越了数值函数，可在结构化和高维输入空间上进

现有基于大语言模型的智能体优化可以概念化为一个两层架构。基础层是提示词优化，专注于增强大语言模型节点的基本交互模式。在此基础上，出现了三个平行的分支：i) 工作流层面的优化，专注于多个大语言模型节点之间的协调与交互模式；ii) 工具优化，智能体通过开发和改进工具来进化，以适应新任务并利用过去的数据；以及 iii) 全面的自主智能体优化，旨在通过考虑多个维度来整体提升智能体能力。与 AutoML 中的优化范式类似，智能体优化可以分为单目标或多目标。当代智能体优化主要围绕三个典型指标：性能、推理成本和延迟。

人类认知代表了一个复杂的信息处理系统，它通过多个专业化神经回路的协同运作，实现了感知、推理和目标导向的行为 [98]。这种认知架构通过心智状态运作，这些状态是学习和推理发生的基础。跨不同抽象层次处理信息并适应新情况的卓越能力，是大语言模型智能体 [27] 的关键灵感来源。认知系统展现出几个基本架构属性，如图 1.1 所示。

传统上，行动代表了人类认知系统基于环境交互反馈的行为。它赋予人类思考、推理、说话、奔跑以及执行任何复杂操作的能力。基于行动系统，人类可以通过增强他们从世界中获得的感知和行动来迭代地进化大脑智能，并形成一个闭环，以进一步在世界上创造新的文明和创新。与人类认知系统类似，行动系统加上工具系统对于 AI 智能体也起着重要作用。整合行动系统使 AI 智能体能够系统地规划、执行和调整其行为，从而在动态环境中促进更具适应性和鲁棒性的性能。

尽管越来越多的研究工作 [543, 590] 专注于构建统一的多模态模型以支持多种感知能力的输入和输出，但智能体感知作为自主系统的基石，在有效解释和整合多模态数据方面仍面临重大挑战。当前方法在表示学习、对齐和融合方面遇到持续存在的问题，这阻碍了鲁棒且可泛化的感知系统的发展。主要问题之一在于所采用的表示方法，这些方法往往无法捕捉多模态数据的复杂细微之处。在需要对高维感官输入进行复杂抽象以保留关键语义信息的场景中，这一不足尤为明显。此外，表示的对齐带来了额外的困难。

操控与隐私担忧（Manipulation and Privacy Concerns）。情感 AI 在广告和政治中的迅速采用引发了重大的操控和隐私风险 [476, 477]。情感 AI 通常收集敏感的生物特征数据，如面部表情和语音语调，以推断情绪状态，从而实现有针对性的广告或政治影响。然而，这些系统可能为了利润或政治利益而利用人类情绪，侵犯基本权利并在公共场所助长过度监视 [478, 477]。像 GDPR 和欧盟 AI 法案这样的监管框架对于负责任地减轻这些风险至关重要。

在强化学习中，奖励模型规定了如何根据智能体在其环境中执行的动作向其提供反馈。该模型通过量化给定状态下动作的可取性，在指导智能体行为方面发挥着至关重要的作用，从而影响其决策。形式化定义。MSAPrγMSAPrγ其中：•SS表示状态空间，包含环境中所有可能的状态。•AA表示动作空间，包含智能体在任何给定状态下可用的所有动作。•Ps′∣saPs′∣sa定义了状态转移概率。它表示在智能体在状态sss采取动作aaa后转移到状态s′。

一个AI世界模型广义上是指智能体用来捕捉或访问近似环境动态的任何机制。令SS表示可能的环境状态集，AA表示行动集，OO表示观测集。Ts′∣saS×A→ΔSOo∣s′S→ΔO​Ts′∣saS×A→ΔSOo∣s′S→ΔO​其中T⋅T(\cdot)T⋅决定状态在行动下如何演变，而O⋅O(\cdot)O⋅定义状态如何产生观测。

人类记忆通常被概念化为一个多层次系统，在不同的处理水平和时间尺度上捕获、存储和检索信息。来自认知科学、神经科学和心理学领域的研究人员提出了各种模型来描述这些层次。一个普遍接受的层级区分了感知记忆、短期记忆（包括工作记忆）和长期记忆 [170, 171]。在长期记忆中，又进一步划分了外显（陈述性）和内隐（非陈述性）形式 [172]。图 3.1 展示了这样一种层级框架：感知记忆。感知记忆是原始感觉信息的初始、短暂存储。

这在本篇综述中，我们通过将人类认知过程与人工智能进行类比，探讨了基础智能体不断演变的格局。

多智能体社会中文化和宗教信仰的演变，这是通过智能体驱动的思想选择发生的，反映了现实世界的社会变迁。如前所述，基于大语言模型的多智能体系统固有的多样性和跨学科性质，以及各种智能体间的交互，为个体决策提供了内部反馈和丰富的上下文，从而减少了偏见并提高了解决方案的一致性[918]。个体智能体之间的异质性、环境反馈以及智能体-智能体交互[914]加强了交互动态，这些对于复杂社交网络的涌现和决策策略的改进都至关重要。集体智能的概念，指的是一群智能体展现出超越单个智能体的问题解决能力。

基础智能体是一个自主的、自适应的智能系统，旨在主动感知来自其环境的多样化信号，通过经验持续学习以提炼和更新结构化的内部状态（如记忆、世界模型、目标、情绪状态和奖励信号），并推理出有目的的行动——包括外部和内部行动——以自主地朝向复杂的长期目标导航。主动和多模态感知：它持续地、选择性地从多种模态（文本、视觉、具身或虚拟）感知环境数据。动态认知适应：它通过学习整合新的观测和经验，维护、更新并自主优化丰富的内部心理状态（记忆、目标、情绪状态、奖励机制和全面的世界模型）。

大语言模型（LLM）的兴起推动了人工智能领域的变革性转变，为构建具备复杂推理能力、强大感知能力以及跨多样领域通用行动能力的高级智能体铺平了道路。随着这些智能体日益推动人工智能研究与实际应用，它们的设计、评估及持续改进面临着错综复杂、多面向的挑战。本综述提供了一份全面的概述，介绍了从认知科学、神经科学和计算研究中获得启发的模块化、类脑智能体架构的发展情况。

OpenAI NewTelco系统提示词

人工智能（AI）、大型语言模型（LLM）、地理信息系统（GIS）以及相关技术的融合正在各行各业彻底改变空间数据分析和决策流程。这一跨学科领域提高了计算能力，使城市规划、环境监测和资源管理中的实时空间建模和知情决策成为可能。本综述强调了人工智能在增强 GIS 功能、促成合成数据生成以及提升非专业用户可访问性方面的作用。交通监测、灾害管理和基础设施开发等应用例证了这些技术的变革性影响。关键挑战包括数据质量、计算需求和伦理考量，这些都需要在数据集成和算法开发方面进行创新。

​GIS数据大都是涉密数据，很多GISer本地部署大模型都是使用的Ollama。近日，国家信息安全漏洞共享平台收录了一个Ollama的漏洞，编号CNVD-2025-04094。​该漏洞可能导致攻击者在未授权的情况下访问高危接口，进而窃取敏感数据、滥用资源或篡改系统配置。如果 Ollama 服务端口（默认为 11434）直接暴露于公网，且未启用身份认证机制，远程攻击者可能在未授权的情况下访问其高危接口。​这可能导致敏感数据泄露、计算资源滥用或系统配置被篡改，进一步扩大攻击范围。

本文推荐了几个在网页上和DeepSeek对话的备选网站，以及通过api调用DeepSeek的备选网站。作者也是在DeepSeek官网使用时遇到服务器繁忙问题才想到的找备选网站，希望对有同样烦恼的同学有所帮助

最近开源大模型可谓闹的沸沸扬扬，尤其是Microsoft开源的和Meta开源的llama3 70b，评测都已经接近了的水平。鉴于还有很多同学不会在上部署和使用本地模型，因此我们出一期保姆级教程。本文讲述了如何在上本地部署大模型。从最基础的软件安装到环境配置都进行了截图展示，希望对非计算机的同学也有所帮助。AI时代我们每个人都必须要掌握一些AI知识，相信不断学习的你一定不会被AI淘汰。这只是开始，后面我们还有很多工作要做，尤其是提示词和智能体。

最近看到淘宝上有人卖`DeepSeek`本地部署教程已经赚了几百万了，这不纯纯的韭菜么。这部署太简单了。作者今天直接就把这个教程给开放出来，其实类似的教程我以前就写过，只不过当时`DeepSeek`还是`V2`版本，还没有像现在这么火。话不多少，直接开整。

最近Genesis又更新了一次，官方说已经支持在Windows上进行渲染了。之前因为不支持在Windows上渲染，会触发问题。于是我们在wsl2中搭建了Genesis的开发环境，并解决了一系列问题，有兴趣的同学可以参考windows wsl linux环境下搭建 Genesis 引擎开发环境。那么本篇我们来讲一讲如何在Windows上搭建Genesis的开发环境。在Windows上运行Genesis，比在Windows上的linux系统里（即wsl）运行Genesis，配置简单的太多了。

2024年终于结束了。回首这一年，我也做了一些AI和GIS的融合的探索，如果要谈AI和GIS结合起来能干什么，我想我折腾了这么久，多少还是有点心得来谈上一谈。2024这一年中大多数人都在默默看着AI发展，其实并没有多少人在真正在使用AI，或者更恰当的说，并没有多少人使用AI让自己的效率成倍的提升。这是因为还没有一些趁手的工具出现，大多数人都停留在和AI的聊天层面。最近我看到不少同行都发表了看法，探讨AI在地理信息、遥感行业的应用前景。

由于Genesis目前不支持在Windows上开发，只支持仿真，不支持渲染。所以就考虑在linux上进行开发环境的配置。而当前主流方案是在windows上使用wsl进行linux的开发，基本已经弃用了VMware方案。因为wsl是微软自己开发的在windows上使用linux的环境，效率比VMware要高的多。但相应的，linux的配置也很复杂。就本次搭建Genesis的开发环境，作者也是参考了很多篇博文，以及不停的问ChatGPT，最终才完成了Genesis开发环境的配置。

这两天由于要使用Genesis，需要用到pytorch的环境，就装了一下pytorch，记录一下过程和踩坑记录。因为电脑上要使用ArcGIS，因此默认的python环境是不能改的，否则ArcGIS就不能启动了。因此新的python的环境需要使用AnacondaCUDA: 12.4Anaconda：2022.10Python：3.9Pytorch本文详细的讲解了Pytorch的安装过程，以及中间遇到各种坑，最后总结出来一个最佳实践，希望对读者有所帮助，回见~

现在的人工智能真是一天一个样，发展速度有点像流浪地球里的科技大爆发，今天作者收集并展示5款人工智能产品。从 Sora 到 Veo2 ，从 WorldLab 到 Genie2 ，以及最新横空出世的 Genesis，绝对能让各位打包眼福，费话不多说，直接上菜。Sora 是由美国人工智能研究组织 OpenAI 开发的文本到视频生成模型。它能够根据简单的文本描述创建出长达60秒的高质量视频内容，这些内容可以是现实场景或是充满想象力的虚构场景。

与其等待别人来取代我们，不如我们自己革自己的命。AIGIS地图智能体功能预览——最强WebGIS打工人秒上岗

人工智能的发展太快了，近期Microsoft开源了Meta开源了llama3 70b,阿里开源了qwen 110b以及,深度求索开源了,性能都接近了GPT4。开源世界毫无疑问又成为了话题的焦点和中心。而当我们转向应用方向时，发现医院开始使用大模型进行B超、CT片子的分析，餐饮行业使用大模型分析客户各种各样的花式点评，机器人接入大模型开始取代客服上岗，AI可以自己做ppt、excel等等,IT行业更不必说，早都开始使用ChatGPT找Bug了。

5.1假期坚持研究智能体的玩法可以说非常敬业了。今天我们来小试一把目前GitHub最火爆智能体框架MetaGPT,让它给我们写一篇Git教程，看看是不是像传说中的那么神奇。模型我们就用刚刚阿里开源的，据说已经超过了llama3 70b,一举拿下开源大模型榜单第一名。MetaGPT确实是很强的框架，能够让大模型做一系列复杂的操作，而不是仅停留在和用户对话的层次上。就拿这教程来说，是不是以后会出现很多由大模型写出来的教程，完全是有可能的。也再次说明了智能体是大模型落地的最后一步，所以GISer。