- 博客(1675)
- 收藏
- 关注

原创 无需网络,轻松在手机上离线布署本地大模型
一旦模型加载完成,进入“聊天”页面并开始与加载的模型对话!生成性能指标也会显示。如果感兴趣,可以通过观察聊天气泡查看实时性能指标:每秒令牌数和每个令牌的毫秒数。AI大模型作为人工智能领域的重要技术突破,正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口,掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程,需要从基础开始,逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源。
2024-11-16 11:30:00
7830
1

原创 大模型LLM | 一文彻底搞懂大模型Agent(智能体):Agent、Agent + RAG
AI大模型作为人工智能领域的重要技术突破,正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口,掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程,需要从基础开始,逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源,包括:AI大模型全套学习路线图(从入门到实战)、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等,资料免费分享!
2024-10-16 19:58:47
38830
1

原创 大模型 | 一文彻底搞懂预训练和微调(Pre-training vs Fine-tuning)
AI大模型作为人工智能领域的重要技术突破,正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口,掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程,需要从基础开始,逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源,包括:AI大模型全套学习路线图(从入门到实战)、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等,资料免费分享!
2024-08-19 09:46:08
13043
原创 大模型 | 总结18种RAG(检索增强生成)技术
在当今信息爆炸的时代,如何从海量数据中快速准确地获取所需信息,是人工智能领域的一大挑战。Retrieval-Augmented Generation(RAG,检索增强生成)技术应运而生,它结合了检索和生成的优势,通过从大量文档中检索相关信息,再利用这些信息生成高质量的回答。然而,RAG 的实现方式多种多样,不同的技术路径有着不同的优势和局限。今天,我们就来深入探讨一下这些 RAG 技术,看看谁才是真正的“最佳选手”。在探索各种复杂的 RAG 技术之前,我们先从最简单的 RAG 方法说起。
2025-03-31 22:32:55
695
原创 一文Transformer原理详解:Transformer模型框架、编码器(Encoder)、解码器(Decoder)
主要由编码器(Encoder)和解码器(Decoder)两部分组成Encoder将输入转化为固定维度的向量,由多个相同的层组成。每层有两个子层,分别是自注意力层(Self-Attention Layer)和前馈全连接层(Feedforward Layer)。其中,自注意力层通过计算输入的每个元素与其他元素的注意力分数来捕捉元素之间的长程依赖关系;而前馈全连接层将每个元素映射到另一个向量空间以捕捉更高级别的特征。
2025-03-14 10:57:44
1131
原创 知识蒸馏技术原理详解:从软标签到模型压缩的实现机制
与仅使用独热编码标签(如[1, 0, 0])的传统训练方法相比,知识蒸馏技术通过引入教师模型的软标签信息,显著降低了学生模型的学习难度。这种知识迁移机制使得构建小型高效模型成为可能,为模型压缩技术提供了新的解决方案。
2025-03-12 19:25:07
976
原创 一文懂这三大模型:CNN、Transformer、BERT
主要处理图像,有卷积层、池化层;基于自注意力机制,适合序列数据;是Transformer的变种,用于自然语言处理。
2025-03-12 17:47:40
778
原创 90%的AI产品经理都踩坑了!Bot创业必看的6大死亡陷阱
在AI大模型的风口上,特别是DeepSeek的风刮得那么猛,Bot AI产品似乎成为了下一个必争之地。许多AI产品经理跃跃欲试,希望打造一款能够真正改变行业、提升效率、甚至带来商业变现的智能Bot。然而,从概念到落地,绝大多数Bot AI产品都难以成功。
2025-03-09 09:30:00
704
原创 大模型论文:微软发布基于过程的自奖励方法显著提升数学推理性能
大型语言模型在各类下游任务中表现都很不错,现在已经在好多场景里广泛应用了。我们通过用人类标注的偏好数据训练语言模型,让它性能得到了进一步提升。不过,这种性能是受限于人类能力上限的。为了突破这个限制,有人提出了自奖励方法,就是让语言模型自己给自己输出的内容奖励,然后用这些奖励数据来训练。但现在已有的自奖励方法在数学推理场景中不太好用,弄不好还会让模型性能变差。在本文里,我们提出了一种基于过程的自奖励流程。这个流程有长时间思考推理、用分步式语言模型当裁判,还有分步式偏好优化这些新做法。
2025-03-08 14:10:59
562
原创 大模型 | LLMs 的工作原理:预训练、后训练、推理、幻觉
大语言模型从预训练到后训练,再到推理和应对幻觉现象,经历了一系列复杂的过程。预训练让模型掌握了语言的基础规律,后训练使其能够适应特定任务和领域,推理过程则赋予了模型生成新文本的能力。然而,幻觉现象的存在也提醒我们,大语言模型并非完美无缺,它们的输出需要谨慎对待。尽管如此,大语言模型仍然是人工智能领域的一项重要成果,它们在许多领域都展现出了巨大的潜力和价值。随着技术的不断进步,我们有理由相信,大语言模型将变得更加智能、可靠和实用。
2025-03-08 12:03:19
978
原创 大模型 | 金融AI智能体的构建框架与实践指南
金融科技的终极命题,始终是如何用技术放大人类的价值创造能力。智能体技术的引入不应被简化为效率竞赛,而应视为组织认知能力的延伸。当交易员能借助智能体感知微观市场的情绪波动,当风控官能通过系统发现跨市场的隐性关联,当客户经理能快速响应个性化需求。这些看似细微的改进,正在悄然重塑金融服务的本质。决策者的核心使命,是建立技术价值的三重验证机制:是否突破了传统方法的效能天花板?是否构建了可持续优化的技术生态?是否实现了人机能力的正向协同?唯有如此,智能体才能超越技术概念,成为驱动行业进化的生命力。
2025-03-06 19:19:57
1007
原创 和满血R1性能一样的推理QWQ-32B开源,部署成本拉低一大截
QWQ-32B开源了,性能与具备671B的DeepSeek-R1很接近,有点夸张,利好个人玩家和小公司。从年前deepseek开源r1模型,大家都在研究如何个人部署DeepSeek-r1,各种一体机也拿部署DeepSeek为卖点,各种推理库也在积极适配(Sglang、vLLM、Ktransforms),甚至AMD(AI MAX 395+)和苹果都在拿能部署deepseek为卖点:昨晚apple偷偷发布的512G 共享内存的m3ultra。
2025-03-06 19:04:04
1043
原创 通俗易懂解读AI 大模型概念(四)什么是提示工程?提示工程的常见策略、应用场景
提示工程是在使用大型语言模型时,精心设计输入提示来优化模型输出的过程。它涉及任务的明确描述、上下文信息的提供、输出格式的要求等,目的是帮助模型理解用户需求并产生更符合要求的输出。随着 AI 和自然语言处理技术的发展,提示工程在各个行业中都越来越重要,并且有着广泛的应用场景。
2025-03-06 10:15:00
927
原创 通俗易懂解读AI 大模型概念(三)注意力机制、强化学习、迁移学习、元学习、对抗生成网络、知识蒸馏
强化学习(Reinforcement Learning, RL)是一种机器学习方法,它使智能体(agent)通过与环境交互并根据反馈调整其行为,以最大化累积的奖励。这种学习方式模仿了生物体在复杂环境中学习和适应的过程,通过试错和奖励机制来学习最优的决策策略。强化学习初始化:智能体初始化其策略或价值函数,并开始在环境中执行操作。与环境交互:智能体在环境中选择一个动作,并根据当前的状态执行该动作。获取反馈:环境会根据智能体的动作返回一个奖励(或惩罚)以及新的状态。更新策略。
2025-03-06 08:45:00
845
原创 通俗易懂解读AI 大模型概念(二)Transformer、RAG、AI Agent、模型微调
RAG(检索增强生成)是一种让 AI 模型变得更"博学"的方法。想象你在写一篇论文,除了用自己的知识,还会去查阅参考资料。RAG 就是给 AI 配备了一个"资料库"和"检索系统"。当 AI 需要回答问题时,会先从资料库中检索相关信息,再结合这些信息来生成答案。这样做有几个好处:可以获取最新信息,克服模型训练数据落后的问题;能提供更准确的回答,因为有具体的参考依据;可以处理特定领域的专业问题,比如公司内部知识;AI Agent(智能代理)可以理解为一个能自主完成任务的 AI 助手。
2025-03-05 14:54:51
724
原创 通俗易懂解读AI 大模型概念(一)人工智能、机器学习、神经网络、深度学习
1956 年夏天,计算机科学家约翰·麦卡锡(John McCarthy)首次提出"人工智能"(AI)这个概念。人工智能(AI通过软件和硬件,来完成通常需要人类智能才能完成的任务。它的研究对象,就是在机器上模拟人类智能。早期,人工智能研究分成两个阵营。第一个阵营是规则式(rule-based)方法,又称专家系统(),指的是人类写好一系列逻辑规则,来教导计算机如何思考。可想而知,对于复杂的、大规模的现实问题,很难写出完备的、明确的规则。所以,这种方法的进展一直很有限。第二个阵营就是机器学习(
2025-03-05 11:58:23
668
原创 大模型RAG技术详解(二)大模型“幻觉”问题,RAG如何解决“幻觉”问题?模拟简单的RAG场景
在探讨RAG技术的必要性之前,我们首先需要理解大模型中有名的“幻觉”问题。所谓“幻觉”,是指大模型在试图生成内容或回答问题时,输出的结果并不完全正确,甚至会有错误,即通常所说的“一本正经地胡说八道”。因此,:在训练大模型时输入的海量知识可能包含错误、过时,甚至带有偏见的信息。这些信息在被大模型学习后,就可能在未来的输出中被重现。:大模型尝试通过大量的语料来学习人类语言的普遍规律与模式,这可能导致“过度泛化”的现象,即把普通的模式推理用到某些特定场景,就会产生不准确的输出。
2025-03-04 16:45:08
535
原创 大模型RAG技术详解(一)什么是RAG?RAG架构解析
RAG(Retrieval-Augmented Generation,检索增强生成)」是一种结合了检索和生成技术的自然语言处理(NLP)模型。该模型由Facebook AI提出,旨在提升生成式模型在处理开放域问答、对话生成等任务中的性能。RAG模型通过引入外部知识库,利用检索模块(Retriever)从大量文档中提取相关信息,并将这些信息传递给生成模块(Generator),从而生成更加准确和有用的回答或文本。
2025-03-04 16:24:52
720
原创 AI时代,产品经理的未来在哪里?如何利用AI高效工作?
AI逐渐闯入大众视线,实现了人人可用,随着AI技术以惊人的速度发展,Deepseck、豆包等工具的出现,让很多打工人开始焦虑:AI会不会取代我的工作?对于产品经理这个岗位,似乎既需要创造力,又需要逻辑思维,AI真的能胜任吗?的确AI的出现代替了很多人的工作,AI生成代码、AI生成图片等。我个人理解,AI 本质上是为了更高效的协作,提高生产力。站在产品经理的角度看,我比较乐观,AI不会完全取代产品经理,但它会深刻改变这个职业的工作方式。
2025-03-04 14:54:32
1039
原创 看看DeepSeek是如何教我们转型AI产品经理的!
如果你问一名资深AI产品经理同样的问题,我猜99%的人,可能都无法提供如此结构化、完整、细致且具体的建议,因为他们的回答可能更偏向于个人经验和见解。它让我想起早几年比较火爆的分答、在行APP,它们提供1对1的付费咨询服务,如今却能免费获得更优质、更全面的知识,真让人有种“薅羊毛”的快感。同样的问题,我们还可以对比另外两款AI产品所给出的答案(如下图),相信你已经有了自己的判断。它不止给你答案,还会把对你问题的思考过程展示给你,提升你对答案的信任度。它可能是产品经理切入AI领域最现实的一个选项。
2025-03-03 15:03:28
196
原创 GraphRAG全栈技术最新综述 | GraphRAG框架的关键组件:查询处理器、检索器、组织者、生成器
图(Graph)能够编码大量的异构和关系信息,很契合众多现实世界应用,将Graph与RAG结合获得了越来越多的关注。2025开年,由MSU与等出品了最新技术综述。与RAG不同,其检索器、生成器的特殊设计,图结构数据的独特性为不同领域GraphRAG设计带来独特挑战,需要一个GraphRAG全面综述。。RAG处理文本和图像数据,这些数据可以统一格式化为1D序列或2D网格,不包含关系信息。相比之下,处理图结构数据,涵盖了多种格式并包含特定领域的关系信息。
2025-03-03 14:24:09
956
原创 大模型常见术语:LLM、预训练、微调、SFT、LORA....
大语言模型(LLM, Large Language Model)是一种具有大量参数的 AI 语言模型,能够执行多种复杂且实用的任务。这些模型通过大量文本数据进行训练,能够生成类人文本、回答问题、总结信息等。如 ChatGPT、DeepSeek、豆包、Kmini、Gemini、Claude等我们常用的 AI 助手都是基于大语言模型的对话助手。
2025-03-02 09:30:00
1631
原创 别被 “一键部署” 骗了!使用Ollama本地部署DeepSeek 避坑指南
最近最火的莫过于DeepSeek,现在网上关于 AI 模型部署的文章一抓一大把,动不动就是 “一键部署,轻松上手”、“30 分钟搭好一个本地能跑起来的大模型”。可现实是,当你真上手用 Ollama 搭建 DeepSeek 模型时,那简直就是踩坑大冒险!今天咱就来好好唠唠那些坑,帮你顺利搭建属于自己的 DeepSeek。
2025-03-01 09:45:00
756
原创 常见的大模型定制策略(四)微调、RLHF
完全微调指的是通过反向传播更新预训练LLM的所有权重,这需要大量的内存来存储所有权重和参数,并可能导致模型在其他任务上的能力显著下降(即灾难性遗忘)。常见的使用场景包括减少回答的有害性和模型的幻觉现象。行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估,以了解哪些行业更适合引入大模型的技术和应用,以及在哪些方面可以发挥大模型的优势。在你已经掌握了大模型技术之后,就需要开始准备面试,我们将提供精心整理的大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余。
2025-03-01 07:30:00
903
原创 常见的大模型定制策略(三)RAG、Agent
检索增强生成(Retrieval Augmented Generation,简称RAG),最初在论文《Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks》中提出,已被证明是一种有前景的解决方案,能够将外部知识集成进来,并在处理领域特定或专业查询时减少常见的LLM幻觉问题。上述示例展示了一个简单的RAG系统。RAG系统的生成过程则将检索到的信息与用户查询结合,形成增强的查询,并将其传递给LLM,以生成丰富上下文的响应。
2025-02-28 14:45:55
623
原创 常见的大模型定制策略(二)提示工程、解码与采样策略
自动推理和工具使用(Automatic Reasoning and Tool use,ART)在CoT的基础上构建,它解构复杂任务,并允许模型使用预定义的外部工具(如搜索和代码生成)从任务库中选择少量示例。行业分析主要包括对不同行业的现状、趋势、问题、机会等进行系统地调研和评估,以了解哪些行业更适合引入大模型的技术和应用,以及在哪些方面可以发挥大模型的优势。在你已经掌握了大模型技术之后,就需要开始准备面试,我们将提供精心整理的大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余。
2025-02-28 14:29:08
894
原创 常见的大模型定制策略(一)如何选择LLM?
大语言模型(LLM)是基于自监督学习预训练的深度学习模型,训练数据量庞大、训练时间长,并且包含大量的参数。LLM在过去两年中彻底改变了自然语言处理领域,展现了在理解和生成类人文本方面的卓越能力。然而,这些通用模型的开箱即用性能并不总能满足特定的业务需求或领域要求。LLM单独使用时无法回答依赖于公司专有数据或封闭环境的问题,这使得它们在应用中显得相对通用。由于从零开始训练一个LLM模型需要大量的训练数据和资源,这对于中小型团队来说基本不可行。
2025-02-28 14:22:05
755
原创 阿里开源最强大视频生成模型万相2.1,性能干翻Sora,附链接及部署流程
架构创新采用自研的高效VAE(变分自编码器)和DiT(扩散时间模型)架构,显著增强了时空上下文建模能力,支持无限长1080P视频的高效编解码,甚至可扩展至4K/8K超高清输出。通过分块编解码技术,实现显存占用与视频长度无关,解决了长视频生成的资源瓶颈。物理规律与复杂运动模拟模型能精准模拟碰撞、反弹、切割、挤压等物理场景(如雨滴溅水效果),并支持复杂运镜和人物动作(如滑冰、体操等),动作自然且符合物理规律。多语言文字生成与特效。
2025-02-28 14:07:11
1822
原创 大模型面经:SFT和RL如何影响模型的泛化或记忆能力?
本篇分享SFT和RL在大模型训练中起到的作用。监督微调 (SFT) 和强化学习 (RL)都是目前大模型的基础模型后训练技术,像DeepSeek-R1、kimi等的训练方法都将两种技术应用到了极致。如何去设计训练步骤(先SFT再RL,还是直接RL)都需要对SFT和RL的能力有较深刻的了解。本篇就以面经的形式,探讨SFT、RL两种不同的后训练范式在基于文本规则和视觉变体的情况下对模型记忆与泛化能力的作用。
2025-02-28 11:30:21
1049
原创 大模型微调(Fine-tuning)全解:微调基础概念介绍,高效微调的应用场景
所谓大模型微调,指的在已有的大规模预训练模型基础上,通过对标注数据进行训练,进一步优化 模型的表现,以适应特定任务或场景的需求。不同于RAG或者Agent技术,通过搭建工作流来优化模型表现,微调是通过修改模型参数来优化模型能力,是一种能够让模型“永久”掌握某种能力的方法。
2025-02-26 15:08:18
1110
原创 大模型时代的知识工程:企业级智能知识库构建与增强指南
大模型知识库正在重构人类认知范式:当某医疗集团部署本方案后,临床决策支持系统在罕见病诊断中的准确率超过副主任医师水平(88% vs 76%)。数据显示,持续运营12个月的知识库可产生「智能增强效应」——知识调用成本下降曲线与业务价值增长曲线形成黄金交叉点。这不仅是效率革命,更是构建组织智能DNA的核心基础设施。
2025-02-26 11:39:34
1771
原创 一文读懂推理模型和训练模型对GPU的不同要求
综上所述,训练模型对GPU的要求更侧重于强大的计算能力、足够的显存、高效的带宽、良好的功耗管理以及支持模型并行与分布式计算的能力;而推理模型则更关注响应速度和效率,对GPU的计算能力和显存要求相对较低,但在高并发场景下仍对带宽和显存有一定需求。
2025-02-26 11:10:42
954
原创 DeepSeek大模型的6种部署模式
DeepSeek模型在过去的半个月中成了全球最受追捧的对象(没有之一),从各大公司的实际行动可见一斑。华为云: 华为云与北京硅基流动科技联合推出基于昇腾云服务的 DeepSeek R1/V3 推理服务,借助自研推理加速引擎,实现了与全球高端 GPU 部署模型相媲美的效果。据报道,这一方案已在华为云的生态系统中得到推广。腾讯云: 腾讯云宣布将 DeepSeek-R1 大模型一键部署至其高性能应用服务 HAI 平台,开发者仅需短短几分钟即可接入调用。与此同时,腾讯云还推出了“开发者大礼包”,覆盖从轻量版到全参数
2025-02-25 20:00:30
841
原创 大模型Prompt技巧全解析 | Prompt定义及基本框架,打造高效Prompt的两大核心原则
在数字化浪潮的推动下,AI大模型以其卓越的自然语言处理能力和智能交互特性,迅速在很多领域中占据了重要地位。比如:与传统客服相比,AI大模型展现出了无可比拟的优势,通过精心设计的 prompt,能使我们在客服托管、智能客服等多个项目和业务场景中发挥显著作用,大幅提高工作效率,优化成果质量。为了精进个人能力以及助力产研学习氛围的提升,本人在学习完吴恩达教授以及其他前辈们有关 prompt 的课程之后,整理了这份学习资料,以供大家学习交流。
2025-02-25 19:43:16
791
原创 大模型 | RAG系统落地实践如何进行评估?一文带你熟悉RAG 应用评估框架 RAGAS
ragas 除了可以做RAG系统评测之外,也可以自动生成测试集,读者可以自行尝试一下。只是本人在公司中,一般是CX 人员给出评测集,我们只需要根据评测集验证RAG系统的效果就行。
2025-02-25 19:10:20
883
原创 DeepSeek的多头潜在注意力(MLA)和及其11种KV-Cache技巧演进大总结
可以将 KV 缓存想象成一个智能记事本,我们会在第一次看到每个 token 时记下有关它的重要信息。对于每个 token,我们计算并存储两件事:键(k):可以将其视为一种寻址机制——它有助于确定此标记与未来标记的相关性值(v):可以将其视为当此标记被发现相关时实际使用的信息从数学上,我们计算这些为:键:(其中是标记,是一个学习到的变换)值:(其中是另一个学习到的变换)在生成一个新标记时,我们使用它的查询(计算方式类似于键)通过将其与所有存储的键进行比较来在我们的缓存中找到相关信息。
2025-02-24 17:27:26
728
原创 一文搞清楚!什么是AI Agent(智能体)?为什么需要AI智能体?AI智能体的架构
AI智能体,也称为人工智能代理,是一种模拟人类智能行为的人工智能系统,其核心引擎通常是大模型(LLM)。AI智能体能够感知环境、做出决策和执行任务,以实现特定目标。与传统人工智能相比,AI智能体具有自主性、适应性和交互性,能在复杂多变的环境中独立运作。AI智能体不仅能高效处理已知任务,还能灵活应对未知环境。比如,传统机器人只能按预设程序执行任务,而AI智能体可以根据环境变化自主调整策略,完成复杂的工作流程。
2025-02-24 17:22:23
1180
1
原创 Qwen 2.5-VL:LLM->VLM又进一步,未来属于多模态模型
视觉语言模型(Vision-Language Model,VLM)是人工智能领域的重要研究方向,旨在实现对视觉和语言信息的联合理解和生成。VLM 通常采用深度学习架构,特别是 Transformer 模型,来处理和融合图像与文本数据。这些模型通过预训练和微调策略,学习从大规模图像-文本对中提取联合特征表示,从而在多种视觉和语言任务中表现出色。:早期的研究主要关注图像描述生成和视觉问答等任务,采用传统的卷积神经网络(CNN)和循环神经网络(RNN)相结合的方法。
2025-02-24 17:04:34
935
原创 Deep Research技术盘点!比RAG更高级的LLM应用范式
OpenAI的Deep Research工具横空出世后,各大厂商都推出了自研的Deep Research工具。所谓Deep Research,是和普通搜索比较的,简单的RAG检索生成一般只有一轮检索。然而Deep Research可以像人类一样,根据一个主题不断的检索,分析,再检索,再分析,直到达到研究目的。从这这个角度上讲,它本质上就是一个升级版的RAG应用,利用ReAct/Plan And Solve等模式构建的垂域 Agent,具备文章分解规划生成、资讯获取分析的能力。
2025-02-24 16:03:35
870
原创 大模型 | 探索基于Qwen2.5实现DeepSeek推理
Qwen2.5是近年来备受瞩目的大语言模型之一。相较于传统模型,它在语义理解、生成能力以及推理效率上都有明显提升。作为一个以中文为主要应用场景的模型,Qwen2.5在处理复杂语言任务时表现得游刃有余。我的初衷正是希望借助这一强大的模型,为实现DeepSeek推理功能提供坚实的底层支撑。在实际使用过程中,我发现Qwen2.5不仅能够快速响应,还具备一定的自适应能力。尤其是在面对专业领域——如医疗场景——的应用时,它表现出的逻辑严谨性和数据敏感性,让人不得不对其刮目相看。
2025-02-23 09:30:00
929
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人