- 博客(60)
- 资源 (6)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 LLMs评审到底靠谱吗？一场关于AI评价有效性的深度拷问
摘要：AI大语言模型（LLMs）在自然语言生成任务评审中的应用引发争议。作者借助测量理论揭示了四大关键假设的问题：1）LLMs难以真正替代人类评审，存在标准不一致性；2）其评审能力存在隐性偏见、可解释性表面化及鲁棒性不足；3）大规模扩展易导致数据污染和操控风险；4）虽成本较低，但存在环境与社会伦理问题。相比传统人工评审，LLMs虽具一致性和扩展性优势，但掩盖多样性、易被操控且污染更隐蔽。当前LLMs评审的科学性和可靠性仍需审慎评估。
2025-09-27 15:26:24
290
原创 Context Engineering survey
上下文工程（Context Engineering）将“上下文”视为由多个信息组件（如系统指令、外部知识、工具定义、持久记忆、动态状态、用户请求等）动态组织和装配的整体。这些组件通过一组函数（如检索、选择、格式化、汇总等）被智能地组合，形成适用于不同任务的最佳上下文。其本质是。
2025-09-06 09:27:33
756
原创 对比传统模型，M3-Agent多模态记忆推理有何优势？
M3-Agent框架突破AI长期记忆与跨模态推理瓶颈 该研究针对多模态智能体缺乏人类级长期记忆和推理能力的问题，提出M3-Agent创新解决方案。框架采用实体中心的多模态记忆图结构，通过分层记忆（情景记忆与语义记忆）和并行处理流程（记忆流程与控制流程），实现持续感知、身份统一的信息存储和递进式推理。相比传统方法，M3-Agent支持无限长多模态输入流处理，在M3-Bench等测试集上表现优异，尤其在人类理解和跨模态推理任务中准确率提升显著（最高达15.5%），为家庭机器人等场景提供了更接近人类认知的AI解决
2025-08-26 19:49:07
1102
原创 [OWASP]智能体应用安全保障指南
与传统 AI 系统相比，Agentic AI 拥有更丰富的推理能力、动态角色分工和复杂的记忆机制。如果你习惯了传统 AI 安全，只需给模型和 API 加权限、做审计、设防注入——Agentic 架构可能会让你大跌眼镜。这种“全链路风险”让我深刻意识到，安全绝不能是事后补救，而必须从设计、开发到部署、运维，每一步都要有针对性的防护措施。相比传统应用，Agentic AI 供应链的管理对象更多、接口更开放，防护措施必须“加码升级”。每一种操作能力，都需要专属的安全策略和隔离机制，否则就是在“裸奔”。
2025-08-19 20:18:16
976
原创 工具集成强化学习：AI数学推理能力的新跃迁
而现有的工具集成推理（TIR）虽然让模型能调用代码解释器，但大多还是靠“老师教”出来的套路（监督微调），模型难以自主创新工具使用方式。你有没有想过，AI不仅能“说”出复杂公式，还能“动手”写代码、纠正自己的错误——甚至比人类设计的流程更聪明？年初的一个框架 ToRL，它把工具调用和强化学习结合起来，把模型从“死记硬背”带入了真正的“自我探索”阶段。ToRL的最大价值不仅在于准确率提升，更在于模型智能行为的涌现——它能主动纠错、根据反馈自我调整、灵活选择推理策略。三、ToRL和传统方法有何不同？
2025-08-18 20:19:19
734
原创 多语言与隐形攻击：LLM安全防线为何被频频突破？
摘要：Trendyol团队测试发现，Meta的Llama Guard防火墙存在严重安全漏洞。攻击者通过多语言输入、字符混淆和Unicode隐形字符等手法，可轻易绕过PROMPT_GUARD和CODE_SHIELD防护，成功率高达50%。测试显示现有检测机制存在三大缺陷：仅支持英语、无法识别混淆字符、代码漏洞检测不足。这一发现警示企业：LLM安全防护需进行多语言、多维度的红队测试，不能依赖单一工具。建议部署时结合人工审查，持续跟踪安全更新，构建更全面的防御体系。（149字）
2025-08-12 20:34:09
1022
原创 美国人工智能行动计划：洞察 AI 发展新路径
美国正处于全球人工智能（AI）竞赛的前沿。赢得这场 AI 竞赛不仅关乎技术领先，更将决定全球标准的制定者与经济、军事优势的获得者。正如美国赢得了太空竞赛，如今也必须与盟友一同赢得 AI 之战。为此，特朗普总统上任初期签署了14179 号行政令，旨在消除美国在 AI 领域领导力的障碍，并推动制定这份 AI 行动计划。AI 的胜利将带来人类发展的新黄金时代，提高生活水平，增强经济竞争力，保障国家安全。人工智能将推动新材料、新药物、新能源的发现与制造 —— 引发新一轮工业革命。
2025-07-30 19:44:31
792
原创 [NIPST AI]对抗性机器学习攻击和缓解的分类和术语
投毒攻击（poisoning attacks）是指针对机器学习算法训练阶段的对抗性攻击，攻击者通过控制或篡改训练数据、标签甚至训练过程，影响模型的性能或行为。这些攻击已在多个领域得到研究，包括计算机安全（如垃圾邮件检测、网络入侵检测、恶意软件分类）、计算机视觉、自然语言处理以及医疗和金融等表格数据领域。投毒攻击可分为两大类威胁：可用性攻击（Availability poisoning）：导致模型整体性能下降。
2025-07-17 19:01:41
1385
原创 Agentic AI 的威胁与缓解措施
智能代理（Agent）的定义智能代理是一种能够感知环境、进行推理、做出决策并自主采取行动以实现特定目标的软件系统。经典定义引用Russell 和 Norvig 在《Artificial Intelligence: A Modern Approach》中定义智能代理为：“能够根据环境和目标做出适当行为、适应变化、从经验中学习，并在感知和计算受限条件下做出适当选择的智能体。技术基础AI Agents 使用机器学习（ML）进行推理。
2025-07-15 23:04:37
1003
原创 OWASP TOP 10 2025
提示注入漏洞发生在用户的提示信息意外地改变了大语言模型（LLM）的行为或输出。这种输入可能影响模型，即使它们对人类不可见或不可读，只要内容能被模型解释。这些漏洞源于模型处理提示的方式，可能导致数据处理错误，违反指导方针，生成有害内容，未经授权的访问或影响关键决策。虽然技术如检索增强生成（RAG）和模型微调可以提高准确性和相关性，但它们并不能完全解决提示注入漏洞。提示注入和“破解”是LLM安全中相关但不同的概念。两者都通过特定输入影响模型响应。“破解”是一种提示注入，允许攻击者通过提供忽略安全协议的输入来绕过
2025-05-01 10:09:58
1081
原创 Single Agent 阶段性总结
Agent 通常指的是一类具备高度自主性的智能实体，它们能够巧妙地在特定环境里自主感知信息，运用内置的智能算法做出理性决策，进而精准无误地执行相应动作。相较于 RAG（检索增强生成）技术，Agent 可解决诸多难题。RAG 虽擅于知识检索整合，但面对动态变化场景稍显乏力。Agent 则不同，它能实时感知环境动态，主动调整策略。比如在供应链管理中，遇到物流堵塞，Agent 可迅速重新规划配送路径，优化资源分配，保障供应链畅通无阻，而 RAG 很难做到如此灵活应变，全方位提升效率与适应性。
2025-01-12 09:54:31
911
原创 RAG 的总结整理
RAG，全称为 Retrieval-Augmented Generation，即检索增强生成。它是一种结合了检索和生成的技术方法，将传统的基于检索的问答系统和基于自然语言生成的技术相结合，提升了 AI 系统在回答自然语言问题时的准确性和可靠性。
2024-12-22 11:07:40
1235
原创 Retrieval-Augmented Generation for Large Language Models: A Survey
在大型语言模型时代，RAG的具体定义是指在回答问题或生成文本时，首先从大量文档中检索相关信息的模型。随后，它利用这些检索到的信息来生成响应或文本，从而提高预测的质量。RAG方法允许开发人员避免为每个特定任务重新训练整个大型模型。
2024-01-07 14:52:19
3622
原创 DragGAN-点对点的手动P图
这项工作旨在为 GAN 开发一种交互式图像操作方法，用户只需点击图像定义一些（handle point，target point）对，然后驱动 handle point 到达它们对应的 target point。
2023-06-04 20:59:22
1018
1
原创 Graph Anomaly Detection with Deep Learning——边检测
与针对单个节点的异常节点检测不同，异常边缘检测 （Anomalous edge detection，ANOS ED）旨在识别异常链路，这些链接通常会通知真实对象之间的意外或异常关系。
2022-01-16 10:11:13
3214
2
原创 Graph Anomaly Detection with Deep Learning——基于属性图的节点异常检测
基于属性图的节点异常检测算法总结
2022-01-15 15:48:43
3331
原创 Graph Anomaly Detection with Deep Learning——节点检测
异常节点的分类全局异常：只考虑节点属性。它们是具有与图中所有其他节点显著不同的属性的节点。结构异常：只考虑图形结构信息。它们是具有不同连接模式的异常节点（例如，连接不同社群，与其他社群形成密集链接）社群异常：既考虑节点属性又考虑图结构信息。它们被定义为与同一社群中的其他节点相比具有不同属性值的节点
2022-01-08 16:32:46
3227
原创 A Comprehensive Survey on Graph Anomaly Detection with Deep Learning——前言
论文：A Comprehensive Survey on Graph Anomaly Detection with Deep Learning论文地址：https://arxiv.org/abs/2106.07178本文的写作动机异常检测是一种数据挖掘过程，旨在识别偏离数据集中大多数数据的异常模式。在这一领域的早期工作中，检测方法在很大程度上依赖于手工制作的特征工程或领域专家构建的统计模型。这内在地限制了这些技术检测未知异常的能力，而且是非常消耗人力的。因此提出了利用图中包含的结构信息，检测图中的异
2021-12-19 13:45:37
1663
原创 机器学习——评估方法
留出法 将数据集 D 拆分为 训练集 S 和测试集 T 正常来说会保留 70% 用作训练，30% 用作测试。采样时采用分层采样（stratified sampling）的方法，即根据样本标签将数据进行分类之后按照对应比例抽取样本 一般来说会重复上述抽取训练测试的步骤 n 次，取最后的平均值当作模型的结果 缺点：取样随机性导致评估结果与模型最终的结果偏差可能会很大交叉验证法 将数据集 D 拆分成 k 个相似并且互斥的子集，每个子集均通过分层采样得到。称之为 k 折交叉验证 保留其中一
2021-06-28 16:30:59
1378
原创 机器学习——评价指标
准确率，精确率，召回率，PR曲线，F1分数和ROC曲线下面积（ROC-AUC）都是机器学习领域中较为常用的评价指标。本文将带领大家全面的了解各个指标之间的联系和不同。
2019-04-12 16:36:05
963
Java——AES在Android studio下加解密问题
2016-02-17
TA创建的收藏夹 TA关注的收藏夹
TA关注的人