- 博客(117)
- 资源 (7)
- 收藏
- 关注
RSS订阅原创 PPO 算法的通俗理解
同时,通过公式 min(r(θ), clip(r(θ), 1-ε, 1+ε) 对新旧策略比率进行裁剪,巧妙地避免了过大的策略变化,使优化目标更加平滑。其中 r(θ) 表示新旧策略的概率比,ε 是一个超参数,限制了策略更新的幅度。也就是说,每次更新时,我们选择让 r(θ) 限制在 [1-ε, 1+ε] 这个区间内,防止策略跳跃式变化。对非专业人士而言,你可以这样理解:PPO 就像一位耐心的高尔夫教练,他会循序渐进地指导你,每次只做一点小调整,慢慢找到最佳的挥杆方式。这种平衡能让你的球技稳步提高。
2025-02-17 08:46:54
343
原创 如何用「教小狗」和「自动驾驶」讲明白 PPO 强化学习？
它就像强化学习界的瑞士军刀——未必每个场景都是最优解，但永远是工程师最可靠的第一选择。下次当你在现实问题中遇到「需要安全探索的序贯决策」时，不妨先说一句：要不先用 PPO 试试？传统方法就像新手主人：每次小狗做出错误动作就严厉惩罚，可能让小狗害怕训练；：既有视频剪辑师（Clip 函数）防止动作变形，又有训练记录员（KL 散度）监控学习进度。：只允许每次调整「握手」动作幅度的 10%，防止小狗突然做出夸张的翻跟头。：用昨天的训练录像（旧策略数据）推演今天的改进方案，不用每次都重新喂零食。
2025-02-15 09:21:22
1039
原创 DeepSeek对AI发展的范式革新与推动：研究报告
DeepSeek的成功不仅是技术突破，更是一场从“资源驱动”到“效率驱动”的范式革命。其核心启示在于：开源生态、算法优化与成本控制将成为AI竞争的新三角，而全球AI产业将加速向普惠化、垂直化与多极化演进。DeepSeek的成功标志着AI发展从依赖大规模算力投入向算法优化与工程效率的转变。：AI竞争的核心逐渐从“参数规模”转向“算法创新”与“工程效率”，开源模式成为技术扩散的关键路径。：AI产业链的价值分配从硬件垄断向算法与应用端转移，垂直领域的快速落地成为竞争焦点。
2025-02-14 08:35:33
950
原创 DeepSeek对AI领域的变革性影响分析报告
随着模型成熟，行业进入“后训练时代”，推理算力需求占比从30%提升至70%。本报告从技术、产业、投资、就业及未来趋势等维度，全面解析DeepSeek对AI领域的深远影响，为集团战略布局提供参考。借助AI工具，个体创业者可完成团队级任务。例如，自媒体创作者通过DeepSeek实现文案、剪辑全流程自动化，效率提升10倍。近年来，人工智能（AI）技术加速演进，而中国开源大模型DeepSeek的崛起，标志着全球AI竞争进入新阶段。DeepSeek的崛起不仅是技术突破，更是AI生态的重构。
2025-02-13 08:34:40
664
原创 DeepSeek的爆火背后，藏着普通人逆袭的终极密码
2025年春节，一款名为DeepSeek的AI工具横空出世，仅用20天日活用户突破2161万，超越ChatGPT初期的增长神话。它不仅能写代码、解数学题，还能用1/10的成本达到GPT-4级别的性能，甚至让美国科技巨头英伟达一夜蒸发4.3万亿市值。面对这场变革，焦虑源于未知，机遇藏于认知。DeepSeek的爆火不是终点，而是AI普惠时代的起点。立即解锁资料包，掌握从“围观者”到“参与者”的密钥。（含200+电子书、300集视频教程、大厂面试题库）
2025-02-08 15:40:09
417
原创 万字长文，代码详解Memory3：革命性RAG模型如何重新定义大规模语言模型
在Memory3的理论框架中,知识被定义为LLM计算图中的一个电路。计算图:节点:所有注意力层和MLP层的隐藏向量边:这些层内的所有激活函数电路:计算图中同态子图的等价类具有非可忽略边权重具有可解释的输入-输出关系知识:特定知识:输入具有可解释含义,输出基本固定抽象知识:其他情况这种定义将知识与LLM的内部计算机制直接关联,为后续的知识外化奠定了基础。
2024-07-12 14:10:42
1735
4
原创 深度学习中激活函数的演变与应用：一个综述
本文全面回顾了深度学习中激活函数的发展历程，从早期的Sigmoid和Tanh函数，到广泛应用的ReLU系列，再到近期提出的Swish、Mish和GeLU等新型激活函数。深入分析了各类激活函数的数学表达、特点优势、局限性以及在典型模型中的应用情况。通过系统的对比分析，本文探讨了激活函数的设计原则、性能评估标准以及未来可能的发展方向，为深度学习模型的优化和设计提供理论指导。
2024-07-11 17:12:37
1357
原创 深入探讨提示工程的攻击与防范：从理论到实践
提示工程攻击是一种针对大型语言模型（LLMs）的特殊攻击形式，利用精心设计的提示来操纵模型，使其产生不当、有害或不符合预期的输出。随着LLMs在各个领域的广泛应用，理解和防范这些攻击变得越来越重要。提示工程攻击可以被定义为：通过设计特定的输入序列（提示），以诱导语言模型产生违背其原始设计意图、安全准则或伦理标准的输出的行为。AP×M→OAP×M→OAAA表示攻击函数PP表示所有可能的提示的集合MM表示目标语言模型OO表示模型输出的集合攻击者的目标是找到一个p。
2024-07-11 17:10:36
1074
原创 自然语言处理的新纪元
一般而言,参数量在数亿到数千亿量级的模型都可以视为大模型。得益于海量训练数据和强大的计算能力,大模型在多项NLP任务上取得了辉煌的成就,极大地推动了语言理解与生成技术的进步。然而,伴随着模型规模的飞速扩张,如何在资源有限的情况下,高效地训练并应用这些大模型,成为亟待解决的关键性难题。多模态大模型通过学习跨域对齐的信息,实现语言、视觉、语音等模态的无缝连接,为构建通用人工智能(AGI)的宏伟目标迈出关键一步。为此,学界和业界提出了一系列优化策略,力求在保证性能的同时,最大限度地提升大模型的训练和推理效率。
2024-05-18 12:35:29
789
原创 大语言模型驱动的智能对话新纪元:上下文理解与多轮对话生成技术揭秘
此外,层次化强化学习方法,如分层策略梯度(Hierarchical Policy Gradient),通过在不同的对话粒度级别上应用强化学习,提高了模型在多轮对话中的决策能力。此外,基于图的对话建模方法,如对话流图(Dialogue Flow Graph),通过构建结构化的对话表示,捕捉对话的逻辑流程,从而提高生成内容的连贯性。在微调阶段,预训练模型被应用于特定的下游任务,如对话生成、问答等,通过少量标注数据进行模型参数的调整,以适应具体任务的需求。在多轮对话中,每一轮的对话内容都依赖于之前的对话历史。
2024-05-18 09:56:38
3023
原创 从BERT到GPT-4:Transformer模型的进化之路与未来展望
Transformer模型自2017年提出以来,已成为自然语言处理领域中最为重要和广泛使用的模型架构之一。其基于自注意力机制(Self-Attention)的设计,能够有效地捕捉文本中的长距离依赖关系,并在并行计算方面具有显著优势。Transformer模型的核心思想是利用自注意力机制来计算序列中各个位置之间的依赖关系。具体而言,对于输入序列中的每个位置,Transformer模型会计算其与其他所有位置的注意力权重,然后根据这些权重对位置进行加权求和,得到该位置的表示。Attention。
2024-05-17 10:57:51
2171
原创 基于预训练语言模型的知识注入技术：方法与应用
预训练语言模型基于大规模语料进行训练，通过自监督学习获取语言的广泛知识。：使用双向Transformer编码器，通过掩码语言模型和下一句预测任务进行预训练。：基于Transformer解码器，具有1750亿参数，通过自回归方法进行文本生成。：将所有NLP任务统一为文本到文本的转换问题，通过大规模多任务学习进行预训练。
2024-05-17 09:06:10
1614
原创 当一个RAG系统效果不好的时候，应该从哪些方面考虑提升效果？
提升RAG系统的性能是一个系统性的工程,需要全面考虑知识库、检索、生成、数据、人机交互等各个环节,并通过持续的迭代优化和技术更新,不断接近更好的效果。同时,也要注意权衡不同优化措施的成本和收益,选择最有针对性和可行性的改进路径。建议在优化过程中,通过合理的实验设计和评估机制,客观评估不同方案的效果,并结合实际应用场景和用户反馈,不断调整优化策略。与此同时,也要重视团队的多学科协作和经验积累,从算法、工程、产品等多个角度共同推进RAG系统的优化和提升。
2024-05-11 07:42:36
964
原创 2024年中国AI大模型产业发展报告,洞见下一个智能时代!
AI大模型作为智能时代的关键生产力,正推动各行业智能化升级,是实现高质量发展、建设现代化经济体系的重要支撑。在AI大模型赋能下,传统产业焕发新的生机,新兴产业加速崛起,为经济社会注入源源不断的创新活力。未来,AI大模型产业化的道路依然任重道远,亟需产学研用各界携手,加强顶层设计和资源统筹,打通技术创新和场景应用的链条,以高质量的大模型突破引领高质量发展,以智能化为中国式现代化建设提供强大科技支撑。让我们携手开启全新的智能时代。关注↓回复【AI发展报告】，可下载AI大模型2024发展报告。
2024-05-07 07:49:11
895
原创 知识图谱融入RAG模型:LinkedIn重塑智能客服新范式【附LeCun哈佛演讲PPT】
本研究的核心创新,在于巧妙地将知识图谱引入大语言模型,构建了一套全新的客服问答范式。它以知识图谱为中心,既保留了工单的结构和联系,又能利用LLM的语义理解和生成能力,可谓优势互补、相得益彰。与此同时,研究者在图谱构建、查询解析、子图提取等环节都采用了LLM,使得整个流程更加灵活、鲁棒,体现出领域适应性。这种全面拥抱LLM的做法堪称业界典范。LinkedIn的这项研究堪称客服智能化的里程碑。
2024-05-07 07:37:48
1570
原创 大模型引领NLP研究新范式：从统计机器学习到预训练语言模型
本文回顾了自然语言处理（NLP）研究范式的演进历程，重点探讨了以ChatGPT为代表的大语言模型（Large Language Model, LLM）的特点、影响和意义。文章分三个阶段梳理了NLP技术的发展脉络：早期的统计机器学习方法、深度学习时代以及预训练语言模型阶段。重点介绍了预训练语言模型，尤其是大语言模型带来的革新：参数规模巨大、训练数据丰富、泛化能力强、生成质量高，且支持零样本和少样本学习。大语言模型正在推动NLP研究范式发生重大变革，极大地提升了NLP系统的性能和应用空间。
2024-05-04 14:01:53
1459
原创 如何给女朋友解释什么叫热插拔
热插拔就是系统在运行时动态改变硬件配置的能力,不中断,不停机,提供连续的服务,带来更灵活、更高效、更优质的用户体验。等于是打架的时候，一开始用拳头，看到棍子了，顺手抄起来用，用着用着又看到砖头了，然后换砖头。
2024-05-04 09:30:50
287
原创 当AI成为造谣“帮凶“,我们该如何甄别真伪?
该文系统梳理了FAIGC的分类体系、生成技术以及检测方法，并对这一领域的研究现状、挑战和机遇进行了深入讨论。然而，在AI赋能内容创作的同时，我们也不得不直面由此带来的新问题——虚假人工智能生成内容（FAIGC）。当AI成为制造和传播虚假信息的帮凶，如何甄别真伪、维护内容生态成为亟待解决的难题。本文将从论文的动机、方法、实验、创新点、不足等角度，对这项研究进行详细解读和分析，以飨相关领域的研究者与从业者。让我们一起走进FAIGC的世界，领略这项前沿研究的精彩之处。
2024-05-03 12:33:38
948
原创 识蒸馏十大关键概念详解:从教师-学生范式到模型压缩和重生网络
知识蒸馏(Knowledge Distillation)任务通常会使用以下术语和表述:
2024-05-03 12:20:53
491
原创 llamaindex 中GPTVectorStoreIndex 和 VectorStoreIndex区别
选择使用哪个索引类取决于具体的应用需求和可用的计算资源。如果需要利用预训练语言模型的语义理解能力,并且有足够的计算资源,可以考虑使用。利用 GPT 模型的强大语义理解能力来生成文本的向量表示,适用于需要捕获文本语义信息的场景。则提供了更多的灵活性,允许使用不同的向量化技术来创建索引,适用于需要定制化和扩展性的场景。如果需要更多的灵活性和定制化,或者计算资源有限,可以考虑使用。都是用于创建向量存储索引的类,但它们在某些方面有所不同。
2024-05-02 12:53:06
1592
原创 白话NLP技术的演进发展
对这段文本进行分词后,得到词表: [“the”, “cat”, “sits”, “on”, “mat”, “dog”, “plays”, “with”, “ball”]同时"中国"和"首都"的向量也比较接近,因为它们在句子中的共现概率较高。基于神经网络的序列模型,如RNN、LSTM等,能够建模文本的上下文信息,从大规模语料中自动学习语言的内在规律。大语言模型(Large Language Model,LLM)的崛起,尤其是ChatGPT和LLaMA的出现,给NLP领域甚至整个AI领域带来了革命性的影响。
2024-05-02 12:50:58
2166
原创 机遇与挑战并存的Agent
随着大模型技术的突飞猛进,如GPT-4、Baichuan-3等的问世,人们对 Agent AI 智能体的未来发展普遍持乐观态度。这些先进的语言模型极大地提升了智能体的语言理解和生成能力,使其在自然语言处理任务上接近甚至超越人类水平。同时,多模态大模型的崛起,让智能体具备了多种形式的感知和交互能力,向通用智能迈进了坚实一步。智能体有潜力成为人类得力助手,提高效率,创造价值。然而,我们也必须清醒地认识到,Agent AI 的发展仍面临诸多挑战,需要科技界、产业界和社会各界共同应对。
2024-04-30 13:58:04
221
原创 K-均值聚类算法:机器学习的“小白鼠“
K-均值聚类(K-Means Clustering)。作为一种无监督学习算法,K-均值聚类可以自动将相似的数据点归为一类,而无需事先标注数据,在数据挖掘、客户细分、图像分割等领域有广泛应用。下面就让我们一起来了解K-均值算法的基本原理、优缺点以及Python实现吧。
2024-04-30 07:44:30
415
原创 对话访谈——五问RAG与搜索引擎：探索知识检索的未来
探讨了两阶段模型(如 RAG)和端到端模型在信息检索、知识问答等任务中的优劣和趋势。一种观点认为,RAG 受限于召回阶段的质量上限,不如端到端方法前景广阔。但我们辩证分析后发现,这种观点有一定道理,但也忽视了 RAG 的优势和改进空间。RAG 的优势在于:1)能够引入外部动态知识;2)可以为数值、逻辑推理提供可靠依据;3)召回技术本身还有很大改进空间;4)两阶段模型也可以端到端联合优化;5)模块化设计更具可解释性和人机协同性。
2024-04-30 07:40:19
2991
原创 融合预训练记忆的 RAG 模型在语言生成任务上取得突破
来自 Facebook AI Research、University College London 和 New York University 的 Lewis 等人的论文介绍了检索增强生成（Retrieval-Augmented Generation，RAG）模型，该模型结合了预训练的参数化和非参数化记忆，用于语言生成任务。为了解决大型预训练语言模型的局限性，如难以访问和精确操作知识，RAG 模型将预训练的序列到序列（seq2seq）模型与维基百科的密集向量索引合并，通过神经检索器访问。RAG 框架
2024-04-29 17:09:59
491
原创 干货：中国人工智能大模型技术白皮书
近日,中国人工智能学会发布了《中国人工智能大模型技术白皮书(2023版)》。白皮书全面梳理了大模型技术的发展历程、关键技术、生态发展、应用实践等方面的最新进展,并对其未来趋势做出展望。
2024-04-28 17:36:24
1464
原创 AIGC技术的发展现状和未来趋势
与此同时,AIGC也带来一些亟需正视的伦理风险。在游戏领域,基于AIGC的程序化内容生成技术能自动创建游戏地图、关卡、NPC等,为玩家带来近乎无限的游戏体验。未来,随着算法模型和算力的持续进步,AIGC有望成为数字内容产业的新引擎,推动传统行业数字化、智能化转型。AIGC模型的参数规模将持续攀升,基于超大规模预训练模型+特定领域微调的范式将成为主流,通用智能和行业智能的结合将产生聚变。同时,AIGC领域的技术迭代和产业化竞争也将日趋激烈,亟需把握用户需求和应用场景的差异化,加强商业模式和服务体系创新。
2024-04-26 08:12:57
497
原创 大模型落地困境和问题
大模型在自然语言处理领域取得了瞩目成就,展现出强大的语言理解和生成能力。但当我们将其落地到实际应用时,仍面临诸多挑战和困境。本文将从计算效率、领域适应、安全伦理、知识更新、可解释性、人机交互以及幻觉等方面,全面剖析当前大模型应用所面临的问题。
2024-04-26 07:41:51
895
原创 逝去的韶光
也许，在未来的某个时刻，当我再次回首这段逝去的韶光，会发现它们已经成为了生命中最宝贵的财富。而那些美好的回忆，也将永远留存在我的心间，成为我人生道路上最温暖的陪伴。那些已经凋谢的花朵，也曾在枝头绽放，如今却化作春泥，守护着下一代的花开。这不禁让我想起那些逝去的青春岁月，曾经的欢笑与泪水，都随着时间的流逝，化作了一缕飘渺的回忆。我试图抓住那些逝去的时光，却发现它们如同流沙，越是紧握，越是从指间溜走。或许，我们无法挽回逝去的时光，但我们可以把握现在，珍惜与家人朋友的每一刻相聚，珍惜那些美好而短暂的瞬间。
2024-04-25 07:10:49
293
原创 RAG的进化之路:从单兵作战到多智协作
它的核心思想是,首先从一个大规模的文档库中检索出与问题最相关的一些片段,然后将这些片段作为附加的知识信息,输入到一个生成式语言模型中,由语言模型根据问题和检索到的知识生成最终答案。黑洞对周围环境的影响主要体现在两个方面:一是强大的引力场会吸积周围的物质,包括恒星、气体、尘埃等,形成吸积盘,并在吸积过程中释放出大量的能量,产生耀眼的光和其他辐射;正是得益于多个领域专家模型的无缝配合、多视角答案的智能融合,以及持续的反馈优化,这个方法成功地解决了一个高度复杂的问题,生成了一个全面、准确、易懂的答案。
2024-04-25 07:05:28
1064
原创 大模型自动优化 Prompt 的可行性分析
Liu 等人提出了一种基于梯度的 Prompt 优化方法，通过在连续空间中搜索最优的 Prompt Embedding 来提升下游任务性能。Shin 等人设计了一种自动化的 Prompt 工程流程，通过迭代优化和模型蒸馏来生成高质量的 Prompt。然而，大模型的性能往往依赖于设计良好的 Prompt（提示），这需要一定的人工effort和领域知识。相信通过学术界和工业界的共同努力，大模型自动优化 Prompt 的研究将不断取得新的突破，为自然语言处理领域的发展贡献新的力量。
2024-04-24 08:31:52
1337
原创 大模型很厉害，但也有搞不定的事儿
因为它确实太牛了，依托大数据、超强的算力和一流的算法，无论是处理自然语言、图像识别，还是语音识别，它都能轻松搞定。拿GPT系列来说，写出来的文字，流畅得让人咋舌，有时候你甚至分不清是人写的还是机器生成的。就像GPT-3，它的“食量”大得惊人，要几百TB的数据来“喂”它，而且还得用上成千上万的处理器，耗时数周才能训练好。比如GPT4在算算术题时给出了错误答案，你告诉它错了，它也只是“一脸懵逼”，根本不知道问题出在哪里，是数据问题还是训练方式不对，它一概不知。但话说回来，大模型也不是万能的，它也有自己的短板。
2024-04-24 08:03:30
563
原创 程序员的生活调节：如何在高压中找寻平衡
作为一位程序员，我深知在代码的海洋中航行，压力和挑战是不可避免的。但幸运的是，我找到了一些缓解压力、保持高效和创新的方法，同时还能维护个人健康和工作热情。
2024-04-23 13:52:40
244
原创 RAG开山之作：结合参数化与非参数化记忆的知识密集型NLP任务新解法
RAG模型通过结合参数化和非参数化记忆，为知识密集型NLP任务提供了一种新的解决方案。它在多个任务上的表现证明了这种方法的有效性，同时也为未来的研究提供了新的方向，特别是在如何更有效地结合参数化和非参数化记忆方面。尽管存在一些挑战，但RAG模型无疑为NLP领域带来了新的启示和可能性。
2024-04-23 07:30:47
1541
2
原创 RAG评估新增基准
传统的NLP任务如知识密集型问答和摘要等基准测试不足以捕捉用户与LLMs之间的复杂交互，因此该研究收集了来自现有真实世界用户-LLM交互数据集的挑战性查询，并将其分类为五种不同类型以进行精细分析。通过将真实用户与LLM之间的交互记录转换为具有挑战性的查询，可以更好地模拟现实世界中的应用场景，从而提高LLM的准确性和可靠性。相比于传统的基于规则或关键词分析的方法，本研究采用了更精细的特征提取方式，通过捕捉特定用户的查询特征，提高了幻觉检测的准确性。
2024-04-22 09:02:32
732
原创 RAT：融合RAG和CoT的高效多步推理任务解决方案
本文提出了一种融合RAG和CoT的高效多步推理任务解决方案——RAT，该方案能有效整合不同思维模式，提高推理效率和准确性，为解决复杂问题提供了一种新的思路，有助于提升人工智能系统的推理与问题解决能力。
2024-04-22 08:42:40
2467
原创 RAG与LLM本身知识存在冲突时，大模型如何抉择？
本研究深入分析了检索增强生成（RAG）模型的忠实度，即模型在处理与内部知识不一致的检索信息时的表现。研究发现，当检索内容正确时，RAG能显著提高模型回答的准确性。然而，当检索内容与模型内部知识冲突时，模型的行为受内部先验知识影响，对初始回答的置信度越高，越不可能偏好RAG信息。此外，研究还发现不同的提示技术对模型的RAG偏好率有显著影响，严格提示会提高RAG偏好率，宽松提示则会降低。这些发现对于理解和改进RAG系统，以及指导未来RAG系统的设计和优化具有重要意义。
2024-04-21 09:15:46
2033
原创 从预训练损失的角度，理解语言模型的涌现能力
本文从预训练损失的角度重新审视语言模型的涌现能力，挑战了以往以模型大小或训练计算量为标准的观念。通过实验，作者发现预训练损失是预测下游任务性能的关键指标，不同规模的模型在相同预训练损失下展现相似性能。这一新视角为理解语言模型涌现能力提供了理论基础，并指出了在更小规模模型上复现或超越大型模型涌现能力的可能性。
2024-04-20 08:33:41
1218
原创 人工智能代理 (ren gong zhi neng dai li) 的崛起
人工智能代理由其创造者设定目标，然后利用算法和其他功能独立地找出实现目标的方法。这些功能使他们能够理解自然语言，访问知识库并展现一定程度的自主性。目标的范围和保真度决定了代理的效用。更开放式目标需要更高级的代理。自然语言处理：代理可以理解人类语言交流的目标、指令和信息。例如，代理可以分析用英语撰写的产品支持票证，并确定所需的措施。知识访问：代理利用数据库、知识图谱和其他存储库来获取完成分配任务所需的有用数据。在回复支持票证之前，代理可能会从内部 wiki 或其他来源收集有关相关产品的详细信息。
2024-04-19 16:57:13
893
Wholesale customers data.csv
2022-08-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人