AI拉呱，专注于人工智与网络安全方面的研究，关注一起学习。

2025 年的某个清晨，当你对着智能音箱说出 “帮我订一份早餐” 时，或许不会想到，这个简单指令背后的技术演进，正悄然推动人类文明走向一个前所未有的拐点。从弱人工智能（ANI）到强人工智能（AGI）的跃迁，不再是科幻小说的专属设定，而是现实世界中正在加速的技术革命。本文将基于最新研究文档，深度解析 2025-2030 年 AI 技术突破、地缘博弈与社会变革的交织图景。原文：https://ai-2027.com/scenario.pdf。

检索增强生成（RAG）是一种流行的技术，通过在生成答案之前从知识库中检索相关的外部知识来增强 LLM 的响应。RAG 提高了准确性，减少了幻觉，并使模型能够提供更符合上下文和更新的信息。RAG 包括三个步骤：检索、增强和生成。检索 -在此步骤中，系统会在外部知识源（例如向量数据库）中搜索相关信息，以基于用户查询找到相关的信息。增强 -检索到的信息随后与原始用户查询结合，形成 LLM 的提示。生成 -LLM 处理提示并生成响应，整合其预训练知识和检索到的信息。这使得响应更加准确且符合上下文。

回调是ADK的一个基础特性，它提供了一种强大的机制来连接代理的执行过程。它们允许您在特定的预定义点观察、自定义甚至控制代理的行为，而无需修改核心ADK框架代码。它们是什么？本质上，回调是您定义的标准Python函数。然后，在创建代理时将这些函数与代理相关联。ADK框架会在代理生命周期的关键阶段自动调用您的函数.为什么要使用它们？回调释放了显着的灵活性并启用了高级代理功能：观察和调试：记录监控和故障排除关键步骤的详细信息。

• A2A 全名 Agent2Agent，是一个开放源代码的协议，让不同公司、不同底层技术的AI Agent能安全地相互交流，无论它们是基于GPT、Gemini还是Claude。• 举个例子：如果把MCP看作是智能体的"工具箱"（提供扳手、计算器等工具），那A2A就像是它们之间的"微信群聊"。技术特点:基于普通网络技术如HTTP、JSON-RPC等构建。

首先，DeepSeek R1 创造性地基于 DeepSeek V3 基座模型，通过大规模强化学习技术，得到了一个纯粹通过强化学习增强的强推理模型，即 DeepSeek-R1-Zero。DeepSeek 能够实现大规模强化学习的一个重要技术特点是其采用了基于规则（rule-based）的方法，确保强化学习可以规模化，并实现面向强化学习的扩展（Scaling）.

大家好，我是AI拉呱，一个专注于人工智领域与网络安全方面的博主，现任资深算法研究员一职，热爱机器学习和深度学习算法应用，拥有丰富的AI项目经验，希望和你一起成长交流。是一个专注于浏览器环境检测的 JavaScript 库，帮助开发者快速获取用户的浏览器类型、版本、操作系统及设备信息，支持现代浏览器和主流旧版浏览器，适用于兼容性适配、用户行为分析、功能特性判断等场景。🌐是将AI代理与浏览器连接的最简单方式。💡 在我们的查看他人正在构建的项目并分享你的成果！想要周边？访问我们的。

MLA技术的引入，使得在大模型运行过程中，每次生成一个token时，只需要处理与之相关的token，极大地提高了处理效率并降低了显存占用。DeepSeek-V2首次引入MoE（混合专家模型）架构，这一架构通过多个子模型（即“专家expert”）的组合，有效减少了参数量和硬件消耗，从而实现了高效的推理和成本效益高的训练。在 MoE 模型中，输入数据通过路由机制被分配给不同的专家（Expert），每个专家是一个独立的神经网络模块，负责处理特定部分的输入数据。每个深度上对每个标记进行预测时保持完整的因果链。

KBLAM 为增强 LLMs 的知识提供了一种全新的、高效的方法。它把外部知识表示成密集的连续向量，利用知识三元组之间的独立性，避免了大规模知识源上昂贵的自注意力计算，实现了动态知识更新，还提高了模型的可解释性。不过，KBLAM 也有一些可以改进的地方。比如在处理分布外数据集时，性能还有提升的空间，这可能需要更优质、多样的合成数据来训练。而且，知识令牌在编码过程中可能会损失一些信息，未来可以通过调整超参数来优化。此外，探索更复杂的指令调整方式，也能让 KBLAM 在知识推理方面发挥更大的潜力。

局部神经网络（LNN）是一种特殊的神经网络结构，它的主要特点是神经元之间的连接具有局部性。与传统的全连接神经网络不同，在LNN中，每个神经元只与输入层的一部分神经元相连，而不是与所有神经元相连。这种局部连接的方式大大减少了网络的参数数量，从而降低了计算复杂度，提高了训练效率。我们使用经典的MNIST手写数字数据集来演示LNN的应用。MNIST数据集包含60,000张训练图像和10,000张测试图像，每张图像都是28x28像素的灰度图像，代表了0-9之间的一个数字。

大家好，我是AI拉呱，一个专注于人工智领域与网络安全方面的博主，现任资深算法研究员一职，热爱机器学习和深度学习算法应用，拥有丰富的AI项目经验，希望和你一起成长交流。

大家好，我是AI拉呱，一个专注于人工智领域与网络安全方面的博主，现任资深算法研究员一职，热爱机器学习和深度学习算法应用，拥有丰富的AI项目经验，希望和你一起成长交流。

模型坍塌（Model Collapse）是深度学习和生成模型中常见的现象，指模型在训练过程中逐渐失去多样性和泛化能力，导致性能严重退化甚至无法继续优化。Bender等人（2021）强调，仅在合成数据上训练的模型可能会进入一个退化循环，生成缺乏新颖性和原创性的输出。这是因为这些模型越来越依赖自身的输出或类似系统的输出，导致对语言的理解趋于同质化且不够稳健。性能退化:训练过程中，模型的准确率下降、损失函数发散或过拟合。生成模型（如GAN）中，生成器可能仅输出单一或重复的结果（如所有样本趋同于某个模式)。

大家好，我是AI拉呱，一个专注于人工智领域与网络安全方面的博主，现任资深算法研究员一职，兼职硕士研究生导师；热爱机器学习和深度学习算法应用，深耕大语言模型微调、量化、私域部署。曾获多次获得AI竞赛大奖，拥有多项发明专利和学术论文。对于AI算法有自己独特见解和经验。曾辅导十几位非计算机学生转行到算法岗位就业。本文章深入探讨了三个核心问题：如何构建针对网络安全的LLMs、LLMs在网络安全任务中的应用，以及该领域面临的挑战和未来研究方向。

大家好，我是AI拉呱，一个专注于人工智领域与网络安全方面的博主，现任资深算法研究员一职，兼职硕士研究生导师；热爱机器学习和深度学习算法应用，深耕大语言模型微调、量化、私域部署。曾获多次获得AI竞赛大奖，拥有多项发明专利和学术论文。对于AI算法有自己独特见解和经验。曾辅导十几位非计算机学生转行到算法岗位就业。

大家好，我是AI拉呱，一个专注于人工智领域与网络安全方面的博主，现任资深算法研究员一职，兼职硕士研究生导师；热爱机器学习和深度学习算法应用，深耕大语言模型微调、量化、私域部署。曾获多次获得AI竞赛大奖，拥有多项发明专利和学术论文。对于AI算法有自己独特见解和经验。曾辅导十几位非计算机学生转行到算法岗位就业。

大家好，我是AI拉呱，一个专注于人工智领域与网络安全方面的博主，现任资深算法研究员一职，兼职硕士研究生导师；热爱机器学习和深度学习算法应用，深耕大语言模型微调、量化、私域部署。曾获多次获得AI竞赛大奖，拥有多项发明专利和学术论文。对于AI算法有自己独特见解和经验。曾辅导十几位非计算机学生转行到算法岗位就业。

DeepSeek 能够实现大规模强化学习的一个重要技术特点是其采用了基于规则（rule-based）的方法，确保强化学习可以规模化，并实现面向强化学习的扩展（Scaling）.能力密度：所谓的能力密度，可以理解为模型在各种评测集上展现出来的能力，除以其参数规模，或者说是激活的参数规模。在真正训练模型之前，我们会进行大量的风洞实验，积累各种预测数据，以确定模型需要什么样的数据配比和超参配置，从而达到最佳效果。高质量的数据能够提升模型的训练效果。：采用更稀疏激活的模型架构，可以用更少的激活参数承载更多的能力。

DeepSeek已发布了多个版本的模型，包括DeepSeekLLM、DeepSeek-Coder、DeepSeekMath、DeepSeek-VL、DeepSeek-V2、DeepSeek-Coder-V2、DeepSeek-VL2以及DeepSeek-V3等。DeepSeek在保持高性能的同时，实现了显著的成本降低。在全球竞争激烈的大模型领域，DeepSeek不断探索前沿技术，例如在DeepSeek-V3中，通过创新性的架构设计与算法优化，实现了性能的大幅提升，同时成本显著降低，使其在市场中脱颖而出。

为核心，通过威胁情报、零信任架构和自动化技术构建防御闭环。其技术趋势不仅响应了当前勒索软件、供应链攻击等威胁，也前瞻性地布局了AI与量子安全等未来方向。然而，企业仍需应对复杂环境中的技能缺口与过度自信风险，思科通过提供端到端解决方案和培训支持（如安全云平台与AI助手），正在推动行业向更高效、智能的安全运营模式转型。思科（Cisco）作为全球网络安全领域的领导者，其产品特征和技术趋势深刻反映了行业需求与技术演进的结合。，该团队通过分析全球范围的恶意软件、漏洞和攻击行为，生成实时威胁情报并融入产品中。

2025年人工智能发展的主要趋势：其他值得注意的点：

网络钓鱼是最近安全事件频发的主要活动之一。攻击的钓鱼变种多样，深度学习的模型的泛化能力难以满足攻击手段的变化。借助LLM模型对钓鱼邮件进行检测准确率在99%。LLM模型检测钓鱼邮件的好处： 准确率高、给出可解释性、相比浏览器Chrome、Firefox 和 Edge 的警告浏览器，准确可靠。

这些强化学习方法为AI Agent提供了强大的学习能力，使其能够在复杂的环境中做出智能决策。在实际应用中，我们通常需要根据具体问题的特性选择合适的算法，并进行必要的调整和优化。Q-learning是一种经典的无模型强化学习算法，它通过学习状态-动作值函数（Q函数）来优化Agent的策略。深度Q网络（DQN）是Q-learning的一个扩展，它使用深度神经网络来近似Q函数，使其能够处理高维状态空间。代码示例：使用PyTorch实现REINFORCE算法（一种简单的策略梯度方法）

这些多Agent系统设计方法和技术为解决复杂、分布式问题提供了强大的工具。在实际应用中，我们需要根据具体问题的特性选择合适的通信协议、协作机制和问题解决策略，以构建高效、可扩展的多Agent系统。多Agent系统（MAS）涉及多个交互的智能Agent，这些Agent可以协作或竞争来解决复杂问题。设计多Agent系统需要考虑Agent间的通信、协作机制以及整体系统的组织结构。Agent间的有效通信是多Agent系统成功的关键。推理引擎是Agent的"大脑"，负责处理感知到的信息，做出决策，并生成行动计划。

这些深度学习技术为AI Agent提供了强大的感知和推理能力。在实际应用中，我们通常会根据任务的性质选择合适的网络架构，并进行必要的调整和优化。接下来，我们将探讨如何将这些技术应用于自然语言处理和计算机视觉等具体领域。在实际应用中，我们通常会根据具体问题选择合适的学习范式和算法。接下来，我们将探讨更高级的深度学习技术，这些技术在处理复杂的感知和决策任务时发挥着重要作用。Transformer架构基于自注意力机制，在各种NLP任务中取得了突破性进展。代码示例：使用PyTorch实现简单的自注意力机制。

AI Agent，也称为智能代理，是一种能够感知环境并在其中采取行动以实现特定目标的计算系统。自主性：能够独立做出决策和执行操作。反应性：能够感知环境并及时做出响应。主动性：能够主动采取行动以达成目标。社交能力：能够与其他Agent或人类进行交互和协作。

【代码】langchain的使用以及算力的计算。

安全大模型和数据集

【代码】关于大语言模型的论文和学习资源集合。

简单的来说tokens就是大语言模型输入的向量数据，它是从原始的文本转化而来。比如输入：here is a text demotokens为：[64790, 64792, 985, 323, 260, 2254, 16948]解码：将tokens转化为文本。

如果你不想训练，但又希望尝试本文中的模型，你可以在 huggingface 上搜索 gemma-2b-technology-news-title-generation-lora[9]，找到从100-2200 steps 的所有 checkpoint。本文使用了一种相对简单的方式来训练符合自己需求的模型。在真实的企业场景中往往还涉及如何生成符合需求的数据集，集群训练，模型的AB测试，企业级部署等问题。我会在未来的文章中和大家分享。

BigCode 开发的 StarCoder，这是一个在一万亿的 token、80 多种编程语言上训练过的 16B 参数量的模型。训练数据多来自 GitHub 上的 issues、使用 Git 提交的代码、Jupyter Notebook 等等。得益于对企业友好的许可证、长度为 8192 的 token、借助 multi-query attention 的快速大批量推理，StarCoder 可以说是当前对代码相关的应用最合适的开源选择。

前言由于 ChatGPT 和 GPT4 兴起，如何让人人都用上这种大模型，是目前 AI 领域最活跃的事情。当下开源的 LLM（Large language model）非常多，可谓是百模大战。面对诸多开源本地模型，根据自己的需求，选择适合自己的基座模型和参数量很重要。选择完后需要对训练数据进行预处理，往往这一步就难住很多同学，无从下手，更别说 training。然后再对模型进行 finetuning 来更好满足自己的下游任务。那么对于如果要训练一个专家模型。预训练也是必不可缺的工作。

LLM，即大型语言模型，是指经过大量文本数据训练的最先进的语言模型。它利用深度学习技术来理解和生成类似人类的文本，使其成为各种应用程序的强大工具，例如文本完成、语言翻译、情感分析等。LLMs最著名的例子之一是 OpenAI 的 GPT-3，它因其语言生成能力而受到广泛关注和赞誉。欢迎来到 LangChain，这是一个开拓性的平台，打开了通往语言模型 (LLM) 迷人领域的大门。通过 LangChain，你可以将LLMs无缝集成到你的项目中，利用其非凡的能力。

但这里 Lora 的配置其实是要注意一下，如果你是用 Lora 做预训练，lora 训练模块可以配上 q_proj,v_proj,k_proj,o_proj 如果是微调则只需要训练 q_proj,v_proj lora_rank 的设置也有讲究，初始设 lora_ran 为 8，训练存在遗忘时，可以将 lora_rank 改为 64（原因是与原模型数据领域相差较大的话，需要更大的秩，原论文有说明）。对于推理，在 GPU 资源不富裕的情况，如何最小化的利用内存，提升推理效率，也是可以讨论的内容。

数据处理、 数据配比、模型优化、评估方案。

数据处理、 数据配比、模型优化、评估方案。

CCF-BDCI2021-面向黑灰产治理的恶意短信变体字还原--------------- https://share.weiyun.com/xHr6OkQw。SMP2020微博情绪分类技术评测--------------- https://share.weiyun.com/uFGEhrWp。SMP2019中文隐式情感分析评测--------------- https://share.weiyun.com/MgHL8QSI。ERNIE1.0提供了5个中文数据集，并在这些数据集上测试ERNIE的效果。

CLUECorpusSmall (BERT格式)---- https://share.weiyun.com/9SPPGUOK。CIFAR100_nolabel 包括50000张没有标注的图片，可以用作无监督的预训练。CLUECorpusSmall包含新闻、社区互动、维基百科、评论语料。原始数据和细节描述在这里。News Commentary v13包括平行语料。原始数据和细节描述在这里。

带宽beta即模型的计算性能，单位为FLOP/s。令I_max=计算平台算力/计算平台带宽，当模型的计算强度I小于平台的理论计算强度I_max，模型的计算能力P即I。

带宽beta即模型的计算性能，单位为FLOP/s。令I_max=计算平台算力/计算平台带宽，当模型的计算强度I小于平台的理论计算强度I_max，模型的计算能力P即I。