- 博客(47)
- 收藏
- 关注
原创 深入理解 Transformer:多头注意力,一文讲透大模型训练的核心机制
在自回归语言模型训练时,模型预测下一个 token 的输入不是用自己上一步生成的 token,而是直接用真实序列(ground truth)输入: [x1, x2, x3, x4, ...] ← 真实序列右移一位目标: [x2, x3, x4, x5, ...] ← 预测下一个 token每一步都用真实的前缀来预测下一个 token,而不是用模型自己的输出作为下一步的输入。预训练和 SFT 阶段 100% 使用 teacher forcing,只有 RL 对齐阶段才是 free-running。
2026-05-29 11:11:16
346
原创 从零基础到实战精通:大模型完整学习路线(2026最新版)
书籍和学习文档资料是学习大模型过程中必不可少的,我们精选了一系列深入探讨大模型技术的书籍和学习文档,它们由领域内的顶尖专家撰写,内容全面、深入、详尽,为你学习大模型提供坚实的理论基础。对于很多自学或者没有基础的同学来说,书籍这些纯文字类的学习教材会觉得比较晦涩难以理解,因此,我们提供了丰富的大模型视频教程,以动态、形象的方式展示技术概念,帮助你更快、更轻松地掌握核心知识。,补齐面试高频考点,完善项目作品集,具备大模型高级开发/架构岗能力,冲刺2026年高薪岗位(薪资25K-50K/月)。
2026-05-28 11:43:48
398
原创 我准备了40多篇教程,想带你真正学会用AI+obsidian
不管你是写公众号的、炒股的、写小说的、看论文的、学新知识的,这套方案的核心价值都一样——让AI不只是一个聊天窗口,而是真正帮你管理知识、提高效率的工作伙伴。
2026-05-27 14:28:59
352
原创 我用Obsidian + Codex 搭了一个会持续进化的AI知识库,保姆级教程来了
如果 Agent 只会“总结一篇文章”,那你得到的只是一个自动摘要器。
2026-05-26 13:56:28
756
原创 不愧是GitHub排名第一的大模型课!我还翻译成了中文版
这个课程最大的亮点就是它的体系化和实践性,把复杂的 LLM 领域拆解成了三个清晰的部分,每个阶段都有清晰的路线图,对想系统学习的同学来说,简直是福音。我给看不太懂英语和上不了GitHub的同学把这份仓库翻译并且做成了一份PDF文档,每一个链接也都保存了下来,笔记,目标就是带你从入门到精通,无论你有没有基础或是想深入研究模型、开发应用,都能找到清晰的路径。(LLM)课程,标星已达到恐怖的67k,它提供了一套完整的学习路线图和可以直接上手的。上发现了一个超级硬核的。
2026-05-25 11:55:29
247
原创 大模型到底是怎么“思考“的?看懂 Token Space 与 Latent Space,你才真的理解了 LLM
通俗说:固定 tokenizer 是"提前把文本切好",BLT 是"让模型自己决定该在哪里细看"。三种现象,根因完全不同。一句"我喜欢机器学习",tokenizer 可能切成"我 / 喜欢 / 机器 / 学习",也可能切成"我 / 喜欢 / 机器学习"。这话没错,但只说了最外面那层——就像说"汽车在前进",确实在前进,可你不知道发动机里发生了什么。模型从来不"直接吐出一句话",而是每一步都在整个词表上分配概率——所以同一个模型、同一个 prompt,换一组解码参数,结果就可能完全不同。
2026-05-23 14:35:34
427
原创 【2026年版|建议收藏】大模型是如何思考的?揭秘LLM推理完整过程(小白&程序员入门必看)
此外,结合当前算力优化方案,探讨增加模型层数的核心挑战,延伸大模型定律的实际应用价值,助力小白快速入门、程序员夯实基础,为深入学习大模型开发与调优筑牢根基。编码器(Encoder):编码器接收嵌入序列,经过多层堆叠,利用多头自注意力机制(Multi-head Self-Attention)和前馈网络,提取词间联系和上下文依赖,输出高维隐状态向量,代表输入序列的深层语义特征。”,它秒回“今天天气晴,气温15度,适合出行”。总之,训练赋予模型知识,微调塑造模型专长,推理则是模型运用知识解决问题的过程。
2026-05-22 11:11:36
347
原创 从RAG到LLM Wiki:一文看懂大模型+知识的演进路线
大模型帮我们处理了海量文档,但知识依然困在模型的参数里,很难真正“生长”。知识明明“存”在那里,却好像从未真正“属于”过你。日常工作中笔者经常碰到这样的场景:上传了20篇同一领域的论文,问它“这些研究形成了哪几条技术路线?彼此的分歧在哪里?”它仍旧只会临时拼凑检索到的片段,而不是从一份自动梳理好的“技术路线全景图”里直接给出答案。哪怕存了100篇文档、查了100次,知识库依然像第一天那样“笨”——新材料不断涌入,理解却没有变深,关联也没有建立。
2026-05-21 11:20:54
624
原创 从RAG到LLM Wiki:一文看懂大模型+知识的演进路线
以上就是今天大模型真好玩要与大家分享的全部内容啦,本篇文章分享了从 RAG 到 GraphRAG 再到 Agentic RAG的检索技术的精进历史,同时指明RAG始终困在“临时翻书、问完即忘”的循环的痛点。LLM Wiki 的出现,将范式从“检索”扭转为“编译”——知识不再止于向量碎片,而是沉淀为一张持续生长的结构化理解之网。就像编译器让源码可执行,LLM Wiki 让资料可理解、可关联、可积累,让知识真正“属于”你。每一次摄入都在为下一次理解铺路,知识积累的复利效应由此启动。
2026-05-20 11:56:29
512
原创 【收藏备用】2026年AI大模型入门详解:概念+产业链全解析(小白/程序员必看)
本文专为小白程序员、AI入门者打造,详细拆解AI大模型的核心概念、特征与分类,深度解析2026年AI大模型产业链上游、中游、下游全环节,涵盖算力、算法、数据资源、模型训练、下游是产业链的应用层,核心是实现商业化落地,把训练好的大模型集成到面向终端用户的产品和服务中,覆盖自然语言处理、计算机视觉、语音识别等各类场景,实现全场景任务泛化。中游是产业链的研发层,一边连接上游的基础资源,一边对接下游的实际应用,核心工作是大模型的研发、训练、微调、优化和部署,把上游的资源转化为可落地的AI系统。
2026-05-19 10:30:05
590
原创 大模型是怎么炼成的:从训练数据到你手里的 API
大模型不是从天上掉下来的,它是一套严密的工程流程的产物,每一个你能感知到的行为,背后都有对应的训练决策。模型"知识丰富"——预训练数据的功劳模型"听得懂人话"——SFT 微调的功劳模型"不乱说话"——RLHF 对齐的功劳模型"能快速响应"——量化和工程优化的功劳模型"答案随机/确定"——你调的 temperature 参数的功劳当模型答错了,你知道这可能是训练数据里没有这个知识,也可能是 SFT 样本不够,不会盲目认为"AI 不行"。当模型拒绝了你的请求。
2026-05-18 11:38:30
393
原创 2026年最新AI大模型学习路线(超详细,小白/程序员必收藏)从入门到精通!
对于很多自学或者没有基础的同学来说,书籍这些纯文字类的学习教材会觉得比较晦涩难以理解,因此,我们提供了丰富的大模型视频教程,以动态、形象的方式展示技术概念,帮助你更快、更轻松地掌握核心知识。:掌握大模型Agent技术的核心原理与实践应用,能够独立完成Agent系统的设计与开发,提升多智能体协同与复杂任务处理的能力,为AI产品的创新与优化提供有力支持。在你已经掌握了大模型技术之后,就需要开始准备面试,我们将提供精心整理的大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余。
2026-05-17 10:00:00
400
原创 从零开始训练大模型:小白也能搞定的完整教程——mini_Qwen_1B
最近学习了一个超有趣的项目——从头训练了一个1B参数的大语言模型(LLM)!整个过程包括预训练(PT)、微调(SFT)和直接偏好优化(DPO)三个阶段。最棒的是,预训练和微调只需要12G显存,偏好优化只需要14G显存,这意味着使用普通的T4显卡就能完成训练!把这个好项目分享给大家,希望能帮助更多对AI感兴趣的小伙伴入门大模型训练~项目叫做mini_qwen,是以模型为基础,通过扩充模型结构,增加参数量到1B,并进行参数随机初始化后训练的。
2026-05-16 09:45:00
435
原创 收藏!带你走完AI应用全链路:从Token到Harness Engineering,小白也能彻底搞懂大模型
回到旅程:回看我们的整个故事——从你说出那句话,到 Agent 查天气、写邮件、发送邮件——这条路之所以能走通,是因为有人精心设计了每一个环节:系统提示怎么写、工具怎么定义、错误怎么处理、结果怎么验证。回到旅程:在我们的故事里,如果 Agent 拥有一个"邮件写作"的 Skill,它就不会只是干巴巴地写一封邮件,而是会考虑邮件的语气、格式、称呼,甚至根据"告诉老板"这个上下文,自动使用更正式的措辞。Token 是 LLM 处理文本的最小单位。它可能是一个完整的词,也可能是词的一部分,甚至是一个标点符号。
2026-05-15 10:59:56
380
原创 医疗AI落地实操指南:六大场景、三大避坑、一条务实路径
医疗AI的核心价值,不是“创造出什么新东西”,而是把顶尖专家的能力,以数字化的形式“平移”到更多场景、更多医生手中。一个基层医院的医生,通过AI辅助诊断系统,可以拥有接近三甲医院专家的“虚拟导师”。一个患者,通过健康管理App,可以享受到个性化的健康指导和预警服务。一个医院管理者,通过DRGs智能系统,可以精细化控制医疗质量和成本。这才是医疗AI的真正价值——不是替代医生,而是放大医生的能力;不是颠覆医疗,而是升级医疗。正如方案中所说:“人工智能+医疗”是人工智能技术对于医疗产业的赋能现象。
2026-05-14 13:36:34
462
原创 【大模型实战】手把手教你基于LLM与RAG的AI智能体意图识别深度实践,全程干货,简单易懂!!
首先,明确智能体需要支持的所有意图。然后,针对每个意图,我们需要收集和生成大量的同义句(Query),覆盖各种可能的表达方式。
2026-05-13 13:50:47
520
原创 杀疯了,大模型今年疯狂爆发!!!
脉脉高聘数据显示,2025年 1-10 月 AI岗位需求同比暴增,AI 科学家平均月薪突破 12.7 万,就连应届生岗位都有 14.68% 实现年薪百万。小鹏、华为、字节跳动等头部企业新发岗位中,每10个就有1个是 AI 岗 ——AI不再是 “未来科技”,而是像电力一样渗透进工作生活的。从智能助手自动订机票、写方案,到AI Agent 化身 “数字员工” 完成报告撰写、数据分析全流程,掌握大模型技能的人,正在拉开和同龄人的效率鸿沟。
2026-05-12 14:15:23
176
原创 6个AI大模型核心概念,小白也能秒懂,看完就敢在朋友面前“装一波”!
就像家里的多功能插线板,不管是手机充电器、电脑充电器、台灯,还是电饭煲,只要插上插线板,就能通电使用,不用再单独找插座。你给AI发一张猫咪的照片,说“帮我写一段文案,再配一段语音解说,描述这只猫咪”,多模态AI就能做到:先识别图片(看出是一只金渐层,毛色是浅金色,眼睛是蓝色),然后写出温柔的文案,再用自然的语音读出来;而MCP(模型上下文协议),就是解决这个痛点的“万能转接头”,它的核心作用很简单:把所有外部工具、数据源的接口,统一成“通用语言”,不管是什么工具,AI都能轻松连接,不用再重复开发。
2026-05-11 14:18:58
415
原创 从零预训练一个自己的大模型(github代码+数据)
(Large Language Model,简称LLM),指使用大量文本数据训练的深度学习模型,可以生成自然语言文本或理解语言文本的含义。虽然网上有大量关于、大语言模型微调的教程。但是少有关于预训练的解释。本文则从如何自己实战预训练一个大语言模型的角度,使用wiki数据集进行一个简单的从零预训练工作,并附上使用swanlab launch白嫖显卡的方法。
2026-05-08 13:55:42
496
原创 AI模型从入门到进阶(理论篇)
LangChain本身不生成内容,它的核心逻辑是:在用户和大模型之间加一层“中间调度层”,通过拼接提示词、调度工具、管理数据,把原生模型的“单一对话能力”,扩展为“多轮记忆、知识库、工具调用、复杂任务处理”的高级能力,本质是“用代码包装模型,放大模型价值”。
2026-05-07 13:58:40
504
原创 AI Agent一个月极速入门野路子!(附入门关键策略+保姆级学习路线+大厂内部资源)
如果你想想系统学习大模型开发,不止于碎片知识,渴望有人带路,跨越从学到做的鸿沟,瞄准高薪岗位,需要明确路径和实战作品,如果你每天有 2-3 小时学习,周末可以多花些时间,可以根据下图的学习计划来学习~第一周先让亲手体验 Agent 的完整流程,建立感性认知;Day2| 大模型框架 + 行业案例 + 岗位分析。Day1| 大模型核心逻辑 +大模型开发实操;第三周必须直面生产环境问题(安全、成本);第二周立刻进入最核心的复杂逻辑构建(
2026-05-06 14:18:14
51
原创 大一学生如何入门机器学习,深度学习,学习顺序如何?
我读大一的时候也和你一样,那个时候高数和线代都还在学,觉得数学不学好怎么学习深度学习呢,因为一直以来脑子里的思路都是计算机科学是数学的一个分支。但是当时我学数学的时候,看到傅里叶变换就看不下去了,学习AI的热情都燃尽了。后面我还啃过,发现都是公式,看不懂,不知道学完能干什么。懵懵懂懂直到大二学机器学习这门课,老师要求结课的时候都要交一个项目报告,同时附上代码和演示视频,必须做项目,在做项目的过程中我才意识到之前学的那些知识的用处。
2026-05-05 14:13:24
449
原创 零基础入门计算机视觉!CV四大基础任务详解
专注计算机视觉教学与算法研发,过去三年我帮超过2500名有Python 基础的入门者,从"像素是什么"到"独立跑通CV项目"。今天这篇长文,完全按零基础实战体系撰写,从图像本质到经典算法、再到 OpenCV工具链和完整项目,一条龙给你讲透可直接复现的CV专业指南。适合人群:大学生、转行者、开发者,只要会Python基础,就能跟上。"修炼一途,乃窃阴阳,夺造化,转涅槃,握生死,掌轮回。计算机视觉(CV)研究如何让机器"看"世界,对三维场景进行感知、识别和理解。这四项最基础的任务是:分类、定位、检测、分割。
2026-04-13 17:05:26
40
原创 深度学习理论体系:六周完整学习路线图
深度学习是后续学习自然语言处理,强化学习,计算机视觉等细分领域的基础,深度学习的应用也非常广泛,各个学科都会涉及,所以建议大家掌握基本的深度学习理论知识深度学习的理论可能会比机器学习更复杂一点,因为其中的数据流向是一个比较困难的点,很多同学学了很久都搞不清楚每个模块输入和输出的数据shape和类型这一期主要是给大家推荐一个深度学习理论教程:可以按照下面的学习计划来学习,总共六周的计划安排下面是具体的内容:第一周:深度学习基础 (难度。适合人群:大学生、转行者、开发者,只要会Python基础,就能跟上。
2026-04-13 17:03:14
105
原创 斯坦福AI软件工程课程对就业有帮助吗
第 5 周:现代终端AI 增强的命令行工具正在改变终端体验。本周深入 Warp 等工具,学习终端自动化和 CLI 增强。第 3-4 周:AI IDE 与 Agent 管理探讨上下文管理的艺术:如何让 AI 理解你的项目?如何写好 PRD(产品需求文档)让 Agent 高效执行?如何设置 AI 原生的开发环境?第四周的重点是"Agent 管理"——如何在人机协作中找到平衡点,既不过度依赖也不完全不信任。第 1-2 周:LLM 基础与 Agent 架构。
2026-04-13 17:00:53
93
原创 从概念到产品:Agent开发的工程化全流程
例如数据分析场景中,模型生成Python脚本用于生成表格、绘制图表,再输出执行结果。相比自然语言回答,精准性和可复现性更高,但对执行环境要求高,需在隔离受控环境中运行以规避风险。会根据问题选择召回策略、决定是否多次搜索、过滤重复结果,还能将高价值信息回写知识图谱库。相较传统RAG,事实性、一致性和上下文控制更优,适合企业内部知识问答、查阅最新资料等场景。模型生成初稿后,自我审查评估并修正问题,得到更新版本。
2026-04-13 16:58:32
186
原创 Plan-and-Execute:Agent规划与执行分离模式
相较传统RAG,事实性、一致性和上下文控制更优,适合企业内部知识问答、查阅最新资料等场景。模型生成初稿后,自我审查评估并修正难题,得到更新版本。能降低Hallucination和推理错误概率,使输出更稳定可靠,但会增加计算开销和响应延迟,适用于对精准性、严谨性要求高的场景。类似“多Agent协作架构”:大任务拆分为小任务,分配给不同Agent,最后整合成效。优势是扩展性强,复杂任务可分工协作、效率更高;缺点是架构复杂,易增加成本和延迟。
2026-04-13 16:56:11
335
原创 CS146S第9周:Agent监控与可观测性
2025 年秋季,斯坦福计算机系出现了一门排课火爆的新课 —— CS146S: The Modern Software Developer(现代软件研发者)。这门课由 Mihail Eric 主讲,他是斯坦福校友,曾在 Amazon Alexa 担任技能主管,创办过 YC 孵化的 AI 编程公司,如今重返母校,开设了斯坦福历史上第一门专注于 AI 软件研发的课程。【请牢记】课程从 9 月 22 日开始,为期十周,每周两次课。
2026-04-13 16:54:40
150
原创 AI算法学习指南:深度学习六周系统规划
深度学习是后续学习自然语言处理,强化学习,计算机视觉等细分领域的基础,深度学习的应用也非常广泛,各个学科都会涉及,所以建议大家掌握基本的深度学习理论知识深度学习的理论可能会比机器学习更复杂一点,因为其中的数据流向是一个比较困难的点,很多同学学了很久都搞不清楚每个模块输入和输出的数据shape和类型这一期主要是给大家推荐一个深度学习理论教程:可以按照下面的学习计划来学习,总共六周的计划安排下面是具体的内容:第一周:深度学习基础 (难度。适合人群:大学生、转行者、开发者,只要会Python基础,就能跟上。
2026-04-13 16:53:09
182
原创 AI Agent开发钱景如何?月薪3到4万不是梦
你要做的就是能成为那个能干活的人。现在是AI Agent的黄金窗口期,需求大,但能踏踏实实干实事的人太少。就像十几年前移动互联网刚兴起的时候,那时候会搞安卓APP的人,哪怕学历不高,现在很多都成了大佬。最后,给你打打气。现在这个AI技术大爆发的阶段,对咱们普通人来说,就是一次难得的翻身机会。这种地方,学历门槛也相对低,更看重你的实际能力。一是那些刚成立不久的AI创业公司,这种公司最务实,老板恨不得你第一天就能上手干活,他才不管你是什么学校毕业的,你厉害他就给你高工资。
2026-04-13 16:51:39
223
原创 AI Agent学习路线:先「用顺」模型再「会用」工具
这些实际上更像工程问题,公司愿意给30k月薪的原因就在这里,Agent开发不是玩具技术人,是能把玩具变成生产力的人。这环节最直接有效的方法就是跟着项目完整走一遍,如果你无从下手,趁着有大佬带队,你直接跟着做就行。我就是跟着这个「Agent 从入门到实战」学的,技术大佬带你手搓企业级项目全流程,手把手带你做出一个能用的Agent系统,简历项目经验就有了。
2026-04-13 16:50:10
240
原创 传统软件与LLM应用:本质区别深度解析
LLM的关键特征在于基于概率分布的“生成式能力”,这为创意和灵感的激发提供了巨大的价值。这种“一模型多能”的特性,大幅降低了应用的开发与维护成本,也让跨功能的业务整合变得前所未有的高效。这种“一模型多能”的特性,大幅降低了应用的开发与维护成本,也让跨功能的业务整合变得前所未有的高效。LLM应用开发的相关的信息并不稀缺——课程、路线图、项目清单到处都是,真正稀缺的是一种清晰感:哪些内容属于“LLM应用开发”的关键,哪些只是围观热闹的知识点,这需要有相当清晰精准的认知。哪些是需要持续学习的?
2026-04-07 13:58:23
15
原创 传统人机交互vs自然语言交互:开发者视角的转变
LLM的关键特征在于基于概率分布的“生成式能力”,这为创意和灵感的激发提供了巨大的价值。然而,这种概率驱动的机制具有双面性:它在赋予模型“创造力”的同时,也带来了输出的不确定性。这种“一模型多能”的特性,大幅降低了应用的开发与维护成本,也让跨功能的业务整合变得前所未有的高效。而现在,LLM允许用户以日常对话的方式输入需求。LLM应用开发的相关的信息并不稀缺——课程、路线图、项目清单到处都是,真正稀缺的是一种清晰感:哪些内容属于“LLM应用开发”的关键,哪些只是围观热闹的知识点,这需要有相当清晰精准的认知。
2026-04-07 13:58:20
16
原创 企业数据开发加大模型:最佳实践指南
所以最后我们退而求其次,还是做辅助吧,就是你一个需求来了,先帮你设计个大概,或者你自己描述清楚点,一步步做引导式的进行开发,就像现在的cursor,不过这里做了rag检索,就是用把2️⃣里面的表和描述都放进去了。首先这个一开始想的是给运营和老板做的,因为他们不会写代码,但是就是会有各种奇奇怪怪的查数需求,之前都是提需求给数据研发,所以想说能不能用大模型做这事,这个功能我觉得做的不是很好,虽然老板和业务买单了,因为这个功能要求非常精准的结果,我们做到最后单表查询是很准的,多表查询不行。
2026-04-07 13:58:17
19
原创 企业数据开发加AI:大模型落地案例
所以最后我们退而求其次,还是做辅助吧,就是你一个需求来了,先帮你设计个大概,或者你自己描述清楚点,一步步做引导式的进行开发,就像现在的cursor,不过这里做了rag检索,就是用把2️⃣里面的表和描述都放进去了。首先这个一开始想的是给运营和老板做的,因为他们不会写代码,但是就是会有各种奇奇怪怪的查数需求,之前都是提需求给数据研发,所以想说能不能用大模型做这事,这个功能我觉得做的不是很好,虽然老板和业务买单了,因为这个功能要求非常精准的结果,我们做到最后单表查询是很准的,多表查询不行。
2026-04-07 13:58:14
25
原创 从零配置大模型环境:PyTorch2.0加CUDA11.8安装教程
基于大模型进行应用开发或提供服务,一般来说具有两种模式:模式一,大模型由第三方构建和维护,应用开发者(团队)一般不需要了解模型构建和部署的相关细节,不必了解 Transformer 架构,不必了解模型的训练过程,遵循既定协议调用模型 API 即可。
2026-04-07 13:58:12
37
原创 从零构建复杂Agent,我踩过的5个坑你千万别踩
最根本的挑战是 LLM 推理的不确定性,传统软件是确定性执行,但 Agent 的每一步都由概率模型驱动,同样的输入可能产生不同的输出。因为 Agent 的执行过程是多步串联的——每一步的输出是下一步的输入,如果某一步出了偏差,后面所有步骤都可能在错误的基础上越走越偏。第一是任务规划与分解,让 Agent 把一个高层任务合理拆解成可执行的子步骤非常困难,分解粒度、步骤间的依赖关系、以及执行中的动态调整都是难点,实践中我们常用 Plan-and-Execute 分离或 ReAct 逐步推进来应对。
2026-04-07 13:58:09
27
原创 从零搭建NLP系统:文本分类与知识抽取
标签:#自然语言处理、#人工智能、#大模型、#大模型实战、#transformer、#机器学习、#深度学习。
2026-04-07 13:58:07
29
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅