2025版最新开发一款大模型需要经过哪些步骤?开发一款大模型的完整流程,收藏这篇就够了

大模型开发(十六):从0到1构建一个高度自动化的AI项目开发流程(中) 本文作为构建高度自动化AI项目开发流程的第二步优化,通过LtM提示流程,解决了根据用户需求,自动构建符合要求的函数,并通过示例一步一步的完整测试了code_generate函数功能。 阅读详情

“ 打造一款模型是一件非常复杂的事情,设计的问题也非常非常多,因此大家要做好心理准备 ”

这段时间写的文章主要都在讲大模型的应用问题,以及自己在工作中遇到的一些问题;而今天我们就从大模型服务的角度,来思考一下打造一款大模型需要经过哪些步骤,也就是怎么打造一款大模型。

怎么打造一款大模型?

可能不同的人对大模型有不同的理解,不同的企业实现大模型的方式可能也不太一样;但其大体上的步骤和过程还是差不多的。

打造一款大模型第一步应该做什么?

有人说打造大模型的第一步是做训练数据的收集与整理;从技术的角度来说这么说也没错,但从流程上来说就有点问题了,你都不知道你想要一个什么样的大模型,那你怎么收集数据?

在上一篇文章中讲过怎么设计一款大模型,但设计模型只是打造模型的其中一个步骤。

要想打造一款模型,基本上要经过以下几个重要步骤:

  • 需求采集__与分析

    不论做任何事情,第一步都要明白自己想要做什么;因此,第一步就是采集需求,分析需求,然后根据需求设计功能点。

    这里面还涉及到很多细节方面的东西,比如需求评审,需求确认,需求文档等等,这里就不详细展开讨论了。

  • 模型的设计与实现

模型的设计与实现,是大模型的项目的关键环节,这个环节可以说是打造模型过程中最复杂,也是最难的一点,其直接决定着模型的性能。具体来说主要包括以下几点:

设计一款模型,需要结合项目目标,数据特性以及算法理论选择或设计一款模型架构。

理解问题:首先你要理解你的需求,就是你到底想做一个什么样的模型,分类,聚类,生成模型等

设计模型架构:比如选择模型架构,transformer,bert,rnn等;然后根据你的需求,设计神经网络的层数,节点数,正/反向传播,损失函数等。

算法选择:现在需求有了,架构也有了,那么采用哪种算法来实现,比如自然语言处理的分词算法,图像处理的卷积算法等。

正则化与优化策略:为了防止过拟合或欠拟合,并提升模型的泛化能力,所以有时需要使用正则等方式对模型进行优化。

设置评估指标:设计一款模型的目的不是为了好玩,而是这个模型能够解决什么问题,因此就需要有一个标准来评估其好坏。

  • 准备训练数据

这一步可能很多人都会觉得很简单,训练数据用爬虫爬一下不就有了,或者掏钱买一点就行了;但事实上,在模型训练过程中数据准备也是很重要的一环,模型的好坏除了取决于模型的设计和架构之外,其次就是训练数据的质量了。

数据采集:数据采集包括数据需求定义,数据源,数据采集,数据存储等等。

数据清洗与预处理:由于数据采集时,数据来源不一而足,数据质量也不一而足,因此数据的清洗和预处理就显得特别重要,其作用就是保证给到大模型的训练数据是高质量的,而不是随便找的。比如,数据缺失,异常值,数据重复,数据转换等多种操作。

数据标注:数据标注应该大部分人都知道,监督学习过程中,需要大量的标注数据才能进行模型训练;但数据标注也有很多注意点,比如数据标注的目的,如何标注,使用哪种工具,标注质量的检查等等;由于训练数据一般比较庞大,因此很难人工进行检查;因此,其难度可想而知。

数据集的划分:有过模型训练经验的人应该都知道,模型训练一般会把数据集划分成训练集,测试集,验证集等多个模块;但数据集应该怎么划分,有哪些标准;比如划分策略,是随机划分,还是分层抽样,或者根据时间划分等。

最后,还要数据的分割工具,数据的存储与加载等等问题。

  • 模型初始化

说到模型初始化,可能有些人听过,有些人根本不知道这玩意;所谓的模型初始化就是,新设计的模型其参数值是默认的或者没有值;因此就需要在训练之前给模型设置一个初始值;这个值可以是随机的,也可以是来自某些经验值。

初始化也是一个复杂的过程,由于某些模型参数量巨大,因此就需要有一个初始化的策略;还有一些参数的权重,包括一些超参数的设计等;比如训练的批次大小,训练速率等。

模型初始化可能会影响到模型的训练成果,或者影响模型的训练效率等。

  • 模型训练

模型训练可能是很多人比较感兴趣的一个话题,而且可能有部分人已经自己训练过一些小模型;因此,这里就不再多说了。

模型训练是一个系统性的过程,涉及到训练数据的收集,整理;超参数的设定,正反向传播函数的选择等等。

  • 模型测试与验证

模型测试与验证这个就更不用多说了,一款模型的效果怎么样,设计的好不好,训练结果是否达到预期;这些都需要在对模型做过测试和验证之后,才能得到结论。

而模型测试与验证,又涉及到前面的训练数据的划分,以及评估指标的实现等等。

  • 模型部署与维护

最后,就是大模型的部署与维护了;大模型与传统的普通企业项目不同,大模型体积巨大,不但自己体积大,而且训练数据体积也很庞大;因此单一机器无法承载大模型的训练,部署与维护;因此分布式就成了一个必然选择。

但,大模型在分布式场景中怎么实现,怎么实现并行计算,怎么进行数据和模型的加载,存储;自动化运维应该怎么做,怎么保证模型的高可用性等等。

还有就是,大模型部署完成后的接口封装,怎么把大模型应用到业务系统中,怎么保证其在高并发环境下的性能和稳定性问题等。

总之,大模型由于其体量问题,其部署与维护需要专业的运维团队,并且还要有完善的自动化运维系统,否则靠人力很难完成。

点击下面红色按钮——喜欢作者就可以对作者进行赞赏,您的赞赏就是对作者最大的肯定。

下面给大家分享一份2025最新版的大模型学习路线,帮助新人小白更系统、更快速的学习大模型!
因篇幅有限,仅展示部分资料,需要点击下方链接即可前往获取

2024最新版优快云大礼包:《AGI大模型学习资源包》免费分享**

一、2025最新大模型学习路线

一个明确的学习路线可以帮助新人了解从哪里开始,按照什么顺序学习,以及需要掌握哪些知识点。大模型领域涉及的知识点非常广泛,没有明确的学习路线可能会导致新人感到迷茫,不知道应该专注于哪些内容。

我们把学习路线分成L1到L4四个阶段,一步步带你从入门到进阶,从理论到实战。

L1级别:AI大模型时代的华丽登场

L1阶段:我们会去了解大模型的基础知识,以及大模型在各个行业的应用和分析;学习理解大模型的核心原理,关键技术,以及大模型应用场景;通过理论原理结合多个项目实战,从提示工程基础到提示工程进阶,掌握Prompt提示工程。

L2级别:AI大模型RAG应用开发工程

L2阶段是我们的AI大模型RAG应用开发工程,我们会去学习RAG检索增强生成:包括Naive RAG、Advanced-RAG以及RAG性能评估,还有GraphRAG在内的多个RAG热门项目的分析。

L3级别:大模型Agent应用架构进阶实践

L3阶段:大模型Agent应用架构进阶实现,我们会去学习LangChain、 LIamaIndex框架,也会学习到AutoGPT、 MetaGPT等多Agent系统,打造我们自己的Agent智能体;同时还可以学习到包括Coze、Dify在内的可视化工具的使用。

L4级别:大模型微调与私有化部署

L4阶段:大模型的微调和私有化部署,我们会更加深入的探讨Transformer架构,学习大模型的微调技术,利用DeepSpeed、Lamam Factory等工具快速进行模型微调;并通过Ollama、vLLM等推理部署框架,实现模型的快速部署。

整个大模型学习路线L1主要是对大模型的理论基础、生态以及提示词他的一个学习掌握;而L3 L4更多的是通过项目实战来掌握大模型的应用开发,针对以上大模型的学习路线我们也整理了对应的学习视频教程,和配套的学习资料。

二、大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的,我们精选了一系列深入探讨大模型技术的书籍和学习文档,它们由领域内的顶尖专家撰写,内容全面、深入、详尽,为你学习大模型提供坚实的理论基础。(书籍含电子版PDF)

三、大模型视频教程

对于很多自学或者没有基础的同学来说,书籍这些纯文字类的学习教材会觉得比较晦涩难以理解,因此,我们提供了丰富的大模型视频教程,以动态、形象的方式展示技术概念,帮助你更快、更轻松地掌握核心知识。

四、大模型项目实战

学以致用 ,当你的理论知识积累到一定程度,就需要通过项目实战,在实际操作中检验和巩固你所学到的知识,同时为你找工作和职业发展打下坚实的基础。

五、大模型面试题

面试不仅是技术的较量,更需要充分的准备。

在你已经掌握了大模型技术之后,就需要开始准备面试,我们将提供精心整理的大模型面试题库,涵盖当前面试中可能遇到的各种技术问题,让你在面试中游刃有余。


因篇幅有限,仅展示部分资料,需要点击下方链接即可前往获取

2024最新版优快云大礼包:《AGI大模型学习资源包》免费分享

大模型开发流程及项目实战 阅读详情

相关推荐

【大模型应用开发-大模型知识】(二)大模型分类和常见大模型

目前包含 Claude 和 Claude-Instant 两种模型可供选择,其中 Claude Instant 的延迟更低,性能略差,价格比完全体的 Claude-v1 要便宜,两个模型的上下文窗口都是 9000 个token(约 5000 个单词,或 15 页)它的目标是“更安全”、“危害更小”的人工智能。Google 还开发了多种 PaLM 的改进版本。更强大的基础模型: ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。

1万+

​LLM大模型从入门到精通(7)--企业大模型开发流程​

我们将开发以大语言模型为功能核心、通过大语言模型的强大理解能力和生成能力、结合特殊的数据或业务逻辑来提供独特功能的应用称为大模型开发。开发大模型相关应用,其技术核心点虽然在大语言模型上,但一般通过调用 API 或开源模型来实现核心的理解与生成,通过 Prompt Enginnering 来实现大语言模型的控制,因此,虽然大模型是深度学习领域的集大成之作,大模型开发却更多是一个工程问题。

qq_45591302的博客 2254

bcftools学习笔记(一)

欢迎关注"生信修炼手册"!本篇主要介绍index, view, query, sort, reheader这五个命令。1. indexindex命令用于对VCF文件建立索...

庐州月光的博客 6010

2025版最新大模型应用开发流程(非常详细)零基础入门到精通,收藏这篇就够了

熟悉我的小伙伴都知道,我一直在研究大模型的应用开发。从GPT的Api接入的镜像网站系统,到RAG的知识库等等…也是有一段时间了。看到一篇还不错的开发流程文章。来源:奇想星球全文共 2234个字,建议阅读 15分钟。

Libra1313的博客 1508

Flash芯片的VCC上电到可操作时间过长

Flash的VCC上电到操作时间(tVSL)通常有最大值限制,如果超过这个时间,核心风险是状态机不同步和指令锁存错误。比如芯片内部振荡器可能已经尝试启动又休眠了,但主控却在这之后才发送指令,导致完全 misinterpreted。Flash芯片的(从电源上电到可以正常进行读写操作的时间)如果过长,会产生一系列负面影响简单来说,这个时间过长意味着电源上升速度太慢,违反了芯片的要求。

qq_61918649的博客 720

达梦DM8整合Seata AT模式实战:手把手教你搞定分布式事务(含源码修改避坑)

本文详细介绍了达梦DM8数据库与Seata AT模式的深度整合实战,包括环境准备、架构设计、源码适配及分布式事务落地。通过独创性源码改造,解决了Seata官方对达梦数据库AT模式支持的限制,为国产数据库在微服务架构中的应用提供了可靠的事务保障。

weixin_30764771的博客 332

2025版最新大模型微调终极指南,零基础入门到精通,收藏这篇就够了

今天给大家带来一篇大模型微调相关的最新综述,主要大模型微调归纳为7个阶段分别为数据准备、模型初始化、训练环境配置、模型微调、模型评估与验证、模型部署以及模型监控与维护。模型微调(Fine-Tuning)就是以预训练模型为基础,通过相对较少的特定数据集进行的进一步训练,主要是在模型预先存在的知识之上用过减少数据和计算成本来提高特定任务的效果。模型预训练与微调之间差距大模型微调的优势:迁移学习:利用预训练过程中获得的知识,通过减少计算时间和资源,将其适应于特定任务。

leah126的博客 1421

AFSim 2.9实战指南:从入门到精通的中文教程

本文是AFSim 2.9的实战指南,提供从零开始的中文教程。内容涵盖仿真环境搭建、实体行为控制、脚本编写,到传感器、武器系统集成与复杂想定构建,最后讲解数据记录与结果分析方法,帮助用户快速掌握这一强大的军事仿真框架。

weixin_29281941的博客 941

【2025版】最新RAG知识库之知识库图谱应用,零基础入门到精通,收藏这篇就够了

上篇文章介绍了使用大模型构建生成知识图谱,其实也可不用大模型用其他方式构建生成知识图谱,但RAG要结合知识图谱使用关键还是怎么把图谱的内容查询出来;简单来说可以先查出在关联查出每个Chunk所关联的实体Entity再查询出实体之间的的;这里说的RAG结合知识图谱和微软开源的GraphRAG具体实现是不同的,效果提升会更好。在Neo4j中使用查询语言可以轻松实现图谱数据的查询,通过Chunk元数据fileName以及Document与Chunk节点的关系、Chunk与实体的关系。

Libra1313的博客 1775

英飞凌TC3xx--深度手撕HSM安全启动(三)--TC3xx HSM系统架构

TC3xx的HSM内核是一颗32位的ARM Cortex M3,主频可达100MHz,支持对称算法AES128、非对称算法PKC(Public Key Crypto) ECC256、Hash SHA2,以及TRNG(真随机数生成)。

认真搞搞汽车MCU 5738

【云原生系列】第一讲:什么是云计算

云计算(cloud computing):分布式:分布式计算的一种,指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序,合并&反馈:通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。云计算早期:分布式计算:简单的分布式计算,解决任务分发,并进行计算结果的合并。因而,云计算又称为网格计算。通过分布式计算,可以在很短的时间内(几秒钟)完成对数以万计的数据的处理,从而达到强大的网络服务。现阶段:计算:分布式计算、效用计算、负载均衡、并行计算、存储。

颜淡慕潇 1万+

【2025版】最新大模型就业方向:五大核心岗位需求攀升,零基础入门到精通,收藏这篇就够了

大模型技术落地应用一年来,尽管尚未引发全面颠覆性的行业变革,但其已稳步渗透至各类业务场景中。海外科技巨头如谷歌与微软率先布局,推出的AI Agent应用正迅速在各行各业中铺展开来,展现出强大的应用潜力。国内市场,同样表现出色,它已深度融入业务全流程。这一系列实践标志着大型模型技术已迈入一个全新的发展阶段。与此同时,大模型技术的蓬勃发展催生了该领域对一系列专业职位的强烈需求。以下是当前大模型领域内最为热门的五大职位,它们在推动该领域持续进步中扮演着至关重要的角色。

Libra1313的博客 1834

资产会计 Transaction Type 与业务交易的 Post to Affiliated Company 不一致导致的 AAPO176:成因剖析与修复指引

本文解析了SAP资产会计中常见的"AAPO176"错误提示,指出当交易类型(TType)与业务交易(Business Transaction)的"关联公司过账"(Post to Affiliated Company)标志不一致时,系统会拒绝过账。作者详细说明了该标志的作用机制,并提供了四种解决方案:修正交易类型使用、匹配正确的业务交易、调整系统配置或建立映射关系。文章还通过实际案例展示了配置错误对集团合并报表的影响,并附带了用于检查配置一致性的ABAP脚本。该错误通常

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 392

2025版最新大模型微调指南,零基础入门到精通,收藏这篇就够了

Prompt工程技术文章专栏系列已更新七章,涵盖了AI开发生态中的多种使用场景,并提供了足够实用的Prompt技巧。而现在,随着大模型调用变得越来越简单,tokens成本也大幅降低,AI开发者可以轻松进行API封装与二次开发。部分平台更是支持定制场景微调,推动着“AI+”模式在市场上蓬勃发展。本系列文章将开启“大模型微调”专栏,作为第一篇文章,我们将从基础概念入手,通俗易懂地讲解大模型微调技术的演变与发展,并通过简单的代码示例帮助大家理解微调的核心理念与方法。

2401_84206094的博客 1100

第4.4节:保护轴承与安全系统

飞轮储能系统的保护轴承是磁悬浮失效时的最后安全屏障,其设计需满足非干涉性、高可靠性和有限寿命承载原则。转子跌落过程包括自由下落、碰撞、进动和滑行减速等复杂非线性阶段,产生远超常规工况的冲击载荷。保护轴承需具备极限冲击容量、高温耐受性和抗卡死能力。系统采用多层级安全架构,结合故障诊断与健康管理,通过监测振动、电流等参数实现预测性维护。安全停机序列有序结合主动制动与被动摩擦制动,确保系统在极端工况下的安全。保护轴承类型多样,需根据系统规模与可靠性要求合理选择。

技术工作者 225

Camera2Demo

在Camera2 的基础上进行封装,使得Camera2一堆初始化逻辑与Activity分离,降低耦合度,完成预览拍照并保存的操作

【2025版】最新大模型就业方向:五大核心岗位需求攀升,(非常详细)零基础入门到精通,收藏这篇就够了

大模型技术落地应用一年来,尽管尚未引发全面颠覆性的行业变革,但其已稳步渗透至各类业务场景中。海外科技巨头如谷歌与微软率先布局,推出的AI Agent应用正迅速在各行各业中铺展开来,展现出强大的应用潜力。国内市场,同样表现出色,它已深度融入业务全流程。这一系列实践标志着大型模型技术已迈入一个全新的发展阶段。与此同时,大模型技术的蓬勃发展催生了该领域对一系列专业职位的强烈需求。以下是当前大模型领域内最为热门的五大职位,它们在推动该领域持续进步中扮演着至关重要的角色。

Javachichi的博客 3202

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

【2025版】最全面的大模型微调终极指南,从零基础到精通,精通收藏这篇就够了!

今天给大家带来一篇大模型微调相关的最新综述,主要大模型微调归纳为7个阶段分别为数据准备、模型初始化、训练环境配置、模型微调、模型评估与验证、模型部署以及模型监控与维护。模型微调(Fine-Tuning)就是以预训练模型为基础,通过相对较少的特定数据集进行的进一步训练,主要是在模型预先存在的知识之上用过减少数据和计算成本来提高特定任务的效果。模型预训练与微调之间差距大模型微调的优势:迁移学习:利用预训练过程中获得的知识,通过减少计算时间和资源,将其适应于特定任务。

Javachichi的博客 2124

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

【2025版】最新大模型就业方向:五大核心岗位需求攀升,(非常详细)从零基础入门到精通,收藏这篇就够了

大模型技术落地应用一年来,尽管尚未引发全面颠覆性的行业变革,但其已稳步渗透至各类业务场景中。海外科技巨头如谷歌与微软率先布局,推出的AI Agent应用正迅速在各行各业中铺展开来,展现出强大的应用潜力。国内市场,同样表现出色,它已深度融入业务全流程。这一系列实践标志着大型模型技术已迈入一个全新的发展阶段。与此同时,大模型技术的蓬勃发展催生了该领域对一系列专业职位的强烈需求。以下是当前大模型领域内最为热门的五大职位,它们在推动该领域持续进步中扮演着至关重要的角色。

Python_0011的博客 1318

【2025版】打造商用 AI Agent(智能体),从零基础到精通,精通收藏这篇就够了!

经常有朋友问我,如何打造一个商用 AI Agent(智能体)?是选择 Coze?Dify?还是 LangGraph?过程中有哪些注意事项?我的数据应该存储在哪里?为什么某些网页用这个工具无法抓取到内容?······因此,在 2025 年初,我结合这两年的 AI Agent 的开发经验,启动了一个合集《从零到一打造 AI Agent》。内容包含了 AI Agent 的理论、实操和案例,我将一步步展示如何打造一个商用 AI Agent 的完整过程。如果你是非技术人员,这对你来说非常有帮助;

leah126的博客 1765
上一篇: 2025版最新大模型微调指南,零基础入门到精通,收藏这篇就够了
下一篇: 实力认证 | 梆梆安全持续引领《CCSIP 2024中国网络安全行业全景册(第七版)》移动安全等关键领域,从零基础到精通,收藏这篇就够了!
程序员_大白
博客等级 码龄5年 1万+粉丝 4001原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值