- 博客(381)
- 收藏
- 关注
RSS订阅原创 AI大模型技术架构全景深度解析
今天的AI，早已不是“某个模型”的胜利，而是“一个系统”的合力。它需要GPU燃料的“猛火”、云原生调度的“灵活手”、Prompt与RAG的“聪明脑袋”，再加上工程架构和业务场景的“落地双脚”。想搭建自己的AI系统，别盯着模型看，要学会看全景图。只有地基稳了，脑袋聪明了，落地方式也通顺了，你的AI才能跑得动、答得准、用得爽。大模型不只是一个模型，而是一套完整的技术栈与工程体系。
2025-05-13 15:54:32
794
原创 学习笔记：主流大模型框架对比分析（Ollama、vLLM、SGlang、TensorRT-LLM等）
主流大模型框架对比分析（Ollama、vLLM、SGlang、TensorRT-LLM等）
2025-05-09 18:55:47
1224
原创 AI大模型技术架构全景深度解析
AI大模型技术架构全景深度解析很多人以为大模型只是一段高明的算法，或者一个庞大的参数体系。其实，它更像是一座技术摩天大楼——从“地基”到“楼顶”，每一层都藏着关键技术秘密。本文不是空谈概念，而是带你一层层拆解 AI 系统的六大核心结构：从底层的GPU硬件、云原生调度，到模型优化、RAG 检索、再到智能应用如何真正落地。看完之后，你会明白，搭建一个大模型系统，绝不仅仅是调几个参数那么简单。
2025-05-08 18:15:47
1189
原创 大模型AI应用，正在企业级赛道迅猛爆发
整合了AI生成式数据获取与查询、业务分析与诊断、决策支持与执行等核心能力，可以给企业内不同岗位提供相关的智能支持。
2025-05-08 18:13:34
1106
原创 最新「大模型简史」整理！从Transformer（2017）到DeepSeek-R1（2025）
语言模型」是一种「人工智能系统」，旨在处理、理解和生成类似人类的语言。它们从大型数据集中学习模式和结构，使得能够产生连贯且上下文相关的文本，应用于翻译、摘要、聊天机器人和内容生成等领域。
2025-05-08 18:12:21
1408
原创 科普文 三分钟带你看懂AI大模型（图文教程）
通俗地讲，模型是一个基于神经网络构建好的处理器，比如函数y=F(x)，它能够根据输入x，产生相应的预测y或者输出内容y。
2025-05-08 18:10:51
1269
原创 LLM实战——使用LangChain4j构建本地RAG系统
RAG（Retrieval-Augmented Generation）的核心思想是：将传统的信息检索（IR）技术与现代的生成式大模型（如chatGPT）结合起来。具体来说，RAG模型在生成答案之前，会首先从一个大型的文档库或知识库中检索到若干条相关的文档片段。再将这些检索到的片段作为额外的上下文信息，输入到生成模型中，从而生成更为准确和信息丰富的文本。RAG的工作原理可以分为以下几个步骤：1.接收请求：首先，系统接收到用户的请求（例如提出一个问题）。
2025-04-14 16:02:49
816
原创 大模型核心框架，今天终于拿下！
Transformer是大模型GPT的核心，GPT中的T指的就是Transformer。Transformer究竟有什么神奇的魔法，能诞生GPT这样伟大的通用人工智能？下面和大家一起一探究竟~ 文末有惊喜哈～Transformer模型主要由编码器（Encoder）和解码器（Decoder）组成，每部分包含多个相同的层。编码器负责将输入序列转换为抽象的特征表示，而解码器则根据编码器的输出和已生成的部分目标序列，逐步生成完整的输出序列。
2025-04-14 15:52:15
716
原创 10分钟了解如何“做”一个大模型
很多人可能觉得AI和大模型很神奇，背后的原理太高科技了。但其实训练一个大模型并没有那么玄，流程上是很简单清晰的。那些估值几百亿的公司，其实做的事情都是这些——是的，训练模型其实并不是很复杂。每家正在做模型的公司，都做的是这些步骤，或者其中一部分。可能有的数据很全，有的算力很强，有的在模型架构本身做研究，如何更低算力更少数据就能效果更好。但是能有足够的数据、足够的算力——本身已经是一个足够精细的筛选条件了！
2025-04-14 15:51:42
774
原创 新版GPT4o直接创建SCI模型流程图，效果令人吃惊！
在科研工作中，高质量的配图往往能极大提升论文的专业性和说服力。传统绘图方式通常需要借助Photoshop、Illustrator等专业软件，耗费研究者大量时间精力。而GPT4o的发布彻底改变了这一局面——它不仅能生成细节丰富的科研配图，更能严格遵循复杂指令，实现"所想即所得"的绘图体验。地学代码、数据、人工智能199篇原创内容公众号。
2025-04-14 15:51:05
839
原创 一文彻底讲透GPT架构及推理原理
阿里妹导读本篇是作者从开发人员的视角，围绕着大模型正向推理过程，对大模型的原理的系统性总结，希望对初学者有所帮助。引言什么是人工智能？清华大学出版社出版的《人工智能概论》中提出，人工智能是对人的意识、思维的信息过程的模拟。人工智能不是人的智能，但它能像人那样思考，也可能超过人的智能。基于这个设想，人工智能应当能够执行通常需要人类智能的任务，如视觉感知、语音识别、决策和语言翻译等工作。就像人一样，可以看见、听见、理解和表达。
2025-04-14 15:50:33
995
原创 大模型别再只写 RAG，太趋同了!
如果Embedding模型未见过“现金价值”这个术语，可能无法将该查询与解释现金价值的文档匹配。通过在包含“现金价值”定义的大量保险文档上微调，模型会学习到“现金价值”与“保单、退保、账户价值”等词的关联，从而更准确地把相关文档检索出来。再如「
2025-04-14 15:49:45
836
原创 一文读懂CNN卷积神经网络从基本概念、模型定义、训练、验证全流程指南
卷积神经网络（CNN）受到人类视觉皮层的启发，在从结构化网格数据（如图像）中提取特征的空间层次结构方面特别有效。图像自然地被表示为多维阵列-通常是具有对应于高度、宽度和颜色通道的维度的3D张量（例如，红色、绿色和蓝色）。这种结构化表示使图像成为CNN的理想候选者，CNN利用卷积运算来有效地处理输入数据的局部区域。img尺寸为4x 4x 3的红绿蓝（RGB）图像的3D张量。与将输入数据视为平面向量的传统神经网络不同，CNN通过应用在图像上滑动的过滤器（或内核）来保留数据中的空间关系。
2025-04-01 11:54:32
1734
原创 LangChain框架快速入门
本文将会介绍LangChain框架，并以python代码示例来解释该框架的作用，使用到了OpenAI的API，并附上代码和结果，感兴趣的读者可以跟着跑代码。LangChain 是一个用于构建和部署基于语言模型（如大型语言模型，LLM）的应用程序的框架。想象一下，LangChain 就像是一个工具箱，里面装满了各种工具和指导手册，帮助你更容易地创建和优化与语言相关的软件项目。LangChain 框架的关键模块如下：Models （模型）Prompts （提示词）
2025-04-01 11:53:30
581
原创 利用Langchain实现表格与文本的检索增强生成（RAG）教程与实战案例！
通过本文的介绍，您应该对如何使用Langchain进行表格和文本的检索增强生成有了更深入的了解。无论是通过直接的函数调用，还是利用Langchain的Agent和Chain，您都可以灵活地处理各种数据源，提升信息检索的效率。
2025-04-01 11:50:11
1072
原创 使用 LangChain 表达式语言构建第一个简单的 LLM 应用
在本教程中，我将向你展示如何使用 LangChain 构建一个简单的 LLM 应用程序。此应用程序会将文本从英语翻译成另一种语言。这是一个相对简单的 LLM 应用程序：它只是一个 LLM 调用加上一些提示。不过，这仍然是开始使用 LangChain 的好方法：只需一些提示和一个 LLM 调用就可以构建许多功能！LangChain 本身支持很多种 LLM，我将使用阿里的 Qwen2.5 系列的 LLM，因为可以和 OpenAI 兼容使用，具体怎么兼容，请看下面的介绍。
2025-04-01 11:49:22
569
原创 接入大模型框架 LangChain4j 详细教程
什么是 LangChain4j？LangChain4j 是一款专为 Java 开发者设计的框架，帮助开发者轻松接入各类大模型并进行自然语言处理。它封装了大模型的调用接口，能够与不同的语言模型进行集成。通过使用 LangChain4j，开发者可以快速构建复杂的自然语言应用，减少了很多底层集成的复杂性。环境准备在开始集成之前，确保已经具备以下开发环境：JDK 1.8+Maven 或 Gradle 项目管理工具。
2025-04-01 11:48:25
1082
原创 学大模型一定要知道的实战项目！！三天练完，没有大模型难的住你
去年侧重大模型和GPT的原理，了。找到的练习项目不仅是对原理和概念的加深理解，更是对如何结合业务，业务逻辑的深度理解。要落到实际的应用场景，肯定需要对应用场景本身有足够的了解。而要理解场景，需要对大模型有足够的知识积累和实战经验。这就是为什么多练大模型项目如此重要。练习项目不仅能帮你更好地掌握理论知识，还能让你更清楚地了解如何把这些知识用到实际工作中。而要做到这一点，你需要对所使用的大模型有足够的了解和项目实践经验。这就是为什么很多大厂在面试中都会问到：你有什么大模型项目经验。
2025-03-19 15:35:56
1010
原创 大模型微调教程：0 基础也能用云算力微调一个Ai甄嬛
微调相当于是可以使用自己的私有数据，私人定制一个专属大模型，比如法律领域、医疗领域、政务场景等。可以自定义模型回复的语气，个性和风格，你把大模型想象成一个小孩子，你想让他成为什么样，你就教他什么（训练语料数据集）。官话：微调LLM可定制其行为，增强领域知识，并针对特定任务优化性能。通过在特定数据集上微调预训练模型，旨在更有效地执行特定任务。实操部分。
2025-03-19 15:24:50
1141
1
原创 大模型微调（Fine-tuning）全解，需要了解的都在这里
所谓大模型微调，指的在已有的大规模预训练模型基础上，通过对标注数据进行训练，进一步优化 模型的表现，以适应特定任务或场景的需求。不同于RAG或者Agent技术，通过搭建工作流来优化模型表现，微调是通过修改模型参数来优化模型能力，是一种能够让模型“永久”掌握某种能力的方法。
2025-03-19 15:22:13
988
原创 必知！大模型时代超常用的训练、微调、推理、部署框架
NVIDIA Triton Inference Server 是一个功能强大且灵活的推理服务器，适用于云、数据中心和边缘计算场景。它支持多框架、多硬件部署，并提供了动态批处理、并发模型执行等高级功能，能够满足高吞吐量、低延迟的推理需求。尽管 Triton 的配置和管理相对复杂，但其强大的功能和与 NVIDIA 生态的深度集成使其成为生产环境中推理服务的理想选择。对于需要高性能推理服务的团队，Triton 提供了全面的解决方案。
2025-03-19 15:20:29
1158
原创 保姆级教程~本地微调DeepSeek-R1-8b模型
利用特定领域的数据集对已预训练的大模型进行进一步训练的过程。它旨在优化模型在特定任务上的性能，使模型能够更好地适应和完成特定领域的任务。其中最重要的是超参数（如学习率、批次大小和训练轮次）调整优化。转成大白话就是调整大模型中一些参数的值，使其在特定数据集上表现更优秀。
2025-03-19 15:14:19
1317
原创 0-1实战 本地大模型微调实战
原创 新的一天要加油呀 [湖北第一](javascript:void(0)😉2024年08月14日 19:26上海上一期写了部署本地模型，光本地部署确实没啥用，那为什么要本地部署？**那！当！然！是！为！了！微！调！啊！**话不多说，开整。****关于本地如何部署大模型请点击下方链接查看上一章内容～开始实践前，请先本地部署chatglm2-6b，看了上一节的应该会发现模型变了，因为内存不足，死机好几次之后我决定从南墙回头了。这是我成功运行下来的个人配置情况，仅供参考。
2025-03-18 14:05:03
711
原创 一文掌握大模型数据准备、模型微调、部署使用全流程
如果想自定义整个webui的名字、登录进来的用户角色等等，则需要对docker的镜像进行一定的修改。
2025-03-18 13:59:12
964
原创 推理大模型的后训练增强技术-指令微调篇，如何用指令微调提升推理能力？
指令微调是一种在带有指令提示和相应输出的标记数据集上微调大模型的技术，通过提供一组概述所需操作的指南或指令，使预训练模型适应执行特定任务。
2025-03-18 13:58:20
794
原创 一学就会！DeepSeek R1本地部署+知识库搭建全攻略
在之前的文章里，我们说了R1本地部署，有同学还给我留言问本地部署有什么意义，这篇文章就可以告诉大家，本地部署大模型不仅仅可以生成一个专属于自己的小助理，还能保护隐私。难道你不需要一个观影小助手吗？哈哈，说远了。前面文章我们以及通过ollama安装好了大模型，打开ollama,访问：http://127.0.0.1:11434/说明大模型服务正常。
2025-03-18 13:57:46
1356
原创 超详细！本地化部署DeepSeek R1+AnythingLLM搭建私有知识库
DeepSeek R1的核心作用在于，其通过强化学习技术实现数学、编程等复杂任务的自主推理，可以赋能很多真实场景，比如编程、数学、数据分析、办公提效等。：若通过云端传输敏感数据，可能被截获或滥用；：攻击者可诱导模型绕过安全机制输出有害内容（成功率74%）；：14.3%的幻觉率可能导致事实性错误。（也就是有时候会胡说八道）将DeepSeek进行本地化部署，可以避免上述的问题。本地部署私有化知识库的优势在于：整合分散的技术文档、会议记录等，支持权限分级；：如军工、金融等领域保护核心数据；
2025-03-18 13:57:04
909
原创 本地部署Deepseek R1大模型：从零开始的完整指南
参数规模（B = Billion/十亿）代表模型的复杂度和学习能力，参数越多，通常理解和生成能力越强。（按模型参数规模排序）70B以下模型：支持8-bit量化（显存需求降低40%）千亿级模型：需结合模型并行+显存卸载技术推荐使用DeepSeek官方优化的推理框架（显存占用减少20%）预留2倍模型体积空间（缓存/日志文件）推荐NVMe SSD（加载速度提升3-5倍）**1、下载 Ollama，官网：**下载之后， Windows 版直接点击安装即可。
2025-03-18 13:56:10
851
原创 什么是RAG？大模型和RAG有什么关系？从零基础到精通，理论与实践结合的最佳路径！
RAG（Retrieval-Augmented Generation，检索增强生成）是一种结合信息检索与文本生成的技术，旨在提升大语言模型在回答专业问题时的准确性和可靠性。核心原理为 检索+ 生成两阶段流程 ：检索阶段：将用户的问题转化为向量，从外部知识库或私有文档中(向量数据库)快速检索相关片段。生成阶段：将检索到的信息输入大模型，生成结合上下文的具体回答。
2025-03-12 14:36:06
680
原创 必知！大模型时代超常用的训练、微调、推理、部署框架，从零基础到精通，理论与实践结合的最佳路径！
动态图优先的深度学习框架，以灵活性和研究友好性著称。动态计算图（即时执行）。张量计算、自动求导、分布式训练。与Python深度集成，调试便捷。支持GPU加速和混合精度训练。生产部署需依赖TorchScript/ONNX。训练速度较静态图框架（如TensorFlow）略慢。：⭐️⭐️⭐️⭐️⭐️（适合快速原型开发）。：学术研究、模型实验、小规模训练。。：与Hugging Face、ONNX、TensorBoard集成，社区庞大。：高性能AI推理服务器，支持多框架、多硬件部署。动态批处理、并发模型执行。
2025-03-12 14:34:26
622
原创 一篇文章讲清楚，到底如何训练自己的专属大模型，从零基础到精通，理论与实践结合的最佳路径！
从“对话调教”入门，体验即时反馈的乐趣。需要专业能力时，优先尝试RAG外挂知识库。有明确垂直需求（如生成品牌视觉素材），再挑战模型微调。大模型不再是“黑科技”，只要掌握方法，普通人也能打造专属AI助手！如果你对具体操作有疑问，欢迎留言讨论！
2025-03-12 14:33:37
1058
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人