大语言模型微调实战:从理论到落地的最佳实践

2024大模型实战学习路线:从API调用到RAG与微调项目落地 大语言模型(LLM)作为人工智能领域的核心技术,其核心架构Transformer通过自注意力机制实现了对序列数据的强大建模能力。理解其工作原理是构建智能应用的基础。在工程实践中,为了克服通用模型在特定领域知识不足和“幻觉”问题,检索增强生成(RAG)技术应运而生,它通过将外部知识库与LLM结合,显著提升了回答的准确性和可信度。当需要对模型进行定制化以适应特定任务时,参数高效微调技术(如LoRA)成为关键,它能以极低的训练成本让大模型快速掌握领域专业知识。这些技术共同构成了当前企业级AI应用落地的核心解决方案 阅读详情

1. 微调:为什么它比“直接问”更管用?

你可能已经用过ChatGPT或者文心一言这类通用大模型了,感觉它们啥都能聊,但一到你的具体业务上,比如让它按照你们公司的口吻写一封客户邮件,或者回答一个只有你们行业才懂的术语问题,它可能就“掉链子”了,要么回答得过于笼统,要么干脆胡说八道。这时候,光靠精心设计提示词(Prompt)可能已经不够用了,你需要一种更“硬核”的方法——微调。

简单来说,微调就像是给一个已经大学毕业的“通才”进行“岗前培训”。这个通才(基座模型)已经通过阅读海量互联网文本,掌握了人类的语言规律、常识和逻辑。但他不懂你们公司的产品细节、服务流程,也不熟悉你们行业的黑话。你的“岗前培训”,就是拿你们公司内部的客服对话记录、产品手册、技术文档这些“内部资料”作为教材,对他进行针对性训练。经过这番训练后,他就能用你们公司的风格说话,精准回答业务问题了。

我刚开始接触微调时,也犯过嘀咕:现在大模型的上下文窗口都那么长了,我把所有资料都塞进提示词里,让它“阅读理解”后回答,不也一样吗?实测下来,这两种方式差别巨大。提示词工程更像是一种“临场指挥”,每次对话你都需要把规则和知识重新告诉模型,不仅消耗大量宝贵的Token(意味着更高的成本和更慢的速度),而且模型对复杂指令的理解深度有限,容易遗忘或混淆。而微调则是“重塑思维”,它将知识内化到了模型的参数里。一旦训练完成,模型就“学会”了,后续使用时,你只需要一个简单的指令,它就能给出专业、一致的答案。这就像你教会了一个员工某项技能,以后他就能独立完成,而不需要你每次都手把手教一遍。

更重要的是成本。很多人以为微调是巨头公司才玩得起的游戏,其实不然。得益于像LoRA、QLoRA这类参数高效微调技术的成熟,我们现在可以用极低的计算成本,在消费级显卡(比如一张24G显存的RTX 4090)上,对百亿参数的大模型进行定制。相比起每次都调用GPT-4这类闭源API,训练一个属于自己的、专精于特定任务的小模型,长期来看在成本和响应速度上都有巨大优势。我自己的经验是,对于一个垂直领域的知识问答任务,微调一个7B参数的开源模型,其效果可以逼近甚至超越通用大模型,而单次推理成本可能只有后者的几十分之一。

2. 第一步:选对“胚子”——基座模型怎么挑?

微调的第一步,也是最关键的一步,就是选择一个合适的基座模型。这就像你要雕琢一件玉器,首先得选一块质地优良的原料。选错了,后面再怎么努力,效果也有限。现在开源社区非常活跃,Hugging Face上模型多如牛毛,从几亿参数到上千亿参数的都有,怎么选呢?别光看参数大小,那只是个数字,得结合你的实际需求来。

首先,想清楚你的任务类型和资源边界。如果你的任务是简单的文本分类、实体识别,或者对生成内容的创造性要求不高,那么一个参数量较小(如1B-7B)、但结构高效的模型(比如Phi-3、Qwen1.5-4B)可能就是最佳选择。它们训练和部署成本低,速度快,在特定任务上经过微调后效果惊人。我做过一个测试,用几千条标注数据微调Qwen1.5-4B模型做客服意图分类,准确率能到98%以上,推理速度极快。但如果你要做复杂的创意写作、逻辑推理或多轮深度对话,那么可能需要考虑13B、34B甚至70B参数的模型(如Llama 3、Qwen1.5-72B),它们拥有更强的理解和生成能力。

其次,务必关注模型的“上下文窗口”长度。这个指标决定了模型一次性能“看”到多长的文本。如果你的业务数据都是短文本,比如商品评论、微博句子,那么4K的上下文完全够用。但如果你要处理长文档摘要、法律合同分析,或者希望模型能参考很长的历史对话记录,那么8K、32K甚至128K上下文窗口的模型就是必须的。这里有个坑我踩过:曾经用一个4K窗口的模型去微调长文档问答,结果模型总是“健忘”,回答到后面就偏离了文档前半部分的内容。后来换成了32K窗口的模型,问题迎刃而解。所以,在选型前,一定要统计一下你的训练数据和未来输入数据的长度分布。

最后,别忘了考察模型的“出身”和生态。优先选择那些有活跃社区、持续更新、文档齐全的模型系列,比如Meta的Llama系列、阿里的Qwen系列、百度的ERNIE系列等。活跃的社区意味着当你遇到问题时更容易找到解决方案,丰富的文档和工具链(比如与vLLM、Llama.cpp等推理框架的兼容性)能让你在部署阶段省心很多。你可以先去Hugging Face的模型库,看看模型的下载量、星标数,以及讨论区是否活跃,这能帮你快速过滤掉一些“僵尸”模型。

3. 第二步:数据为王——准备高质量训练集的实战心得

老话说“垃圾进,垃圾出”,在大模型微调里,这句话是金科玉律。模型效果的80%取决于你的训练数据。我见过很多团队把大量精力花在调参上,却对数据质量敷衍了事,最后效果不理想,还怪模型不行。准备数据是个细致活,我来分享几个实战中总结出的关键点。

数据格式与构造:最常用的是指令-回答对(Instruction-Response Pair)格式。这不仅仅是简单的问答。你需要把任务“翻译”成模型能理解的指令。例如,不要只给“苹果公司市值多少?”和“2.6万亿美元”这样的对子。更好的做法是构造多样化的指令:“请查询并告诉我苹果公司的最新市值。”、“苹果公司的市场估值是多少?请提供数字。”、“作为财务分析师,请分析苹果公司的市值规模。” 答案也可以更丰富:“根据最新财报,苹果公司市值约为2.6万亿美元,是全球市值最高的上市公司之一。” 这种构造方式能教模型更好地泛化,理解不同问法背后的相同意图。

数据规模与质量的权衡:新手常犯的错误是盲目追求数据量。我强烈建议:宁可要1000条精雕细琢的高质量数据,也不要10万条爬虫抓来的脏数据。对于很多垂直领域任务,5000到1万条高质量数据足以让一个7B模型产生质的飞跃。什么是高质量?数据要准确、相关、多样,并且符合你期望的输出风格。比如做客服微调,数据就应该来自真实的、优秀的客服对话记录,而不是东拼西凑的网页问答。

数据清洗与增强:拿到原始数据后,清洗是必须的。去除乱码、重复项、无关信息。然后,可以考虑数据增强来提升多样性,尤其是在数据量不足的时候。对于文本任务,可以试试同义词替换、句式改写、回译(中文->英文->中文)等方法。但要注意,增强不能改变原意。一个实用的技巧是,在构造数据时,就刻意设计多种指令模板,从不同角度描述同一个任务,这比事后增强更自然有效。

划分训练集与验证集:千万不要用训练数据来评估模型!一定要随机划分出一部分(比如10%-20%)作为验证集。验证集是你的“考官”,用来在训练过程中客观评估模型是否在真正学习,而不是死记硬背训练数据(过拟合)。我通常的做法是,在构造好全部数据后,用脚本随机打乱顺序,然后按比例切分。确保验证集中的数据分布(如问题类型、难度)与训练集大致相同。

这里给一个数据格式的简单示例,假设我们微调一个写邮件助手:

[
  {
    "instruction": "请以销售总监的身份,给一位重要客户写一封催款邮件,语气专业且委婉。客户名是‘星空科技’,逾期金额为5万元,逾期30天。",
    "input": "",
    "output": "尊敬的星空科技公司负责人:\n\n您好!希望您一切顺利。\n\n我注意到贵司发票编号INV-2023-0451对应的款项(金额:人民币50,000元)已于30天前到期,目前尚未收到。烦请协助核查并安排支付。\n\n附件为账单明细,供您参考。如您对账单有任何疑问,请随时与我联系。\n\n感谢您一直以来的支持与合作!\n\n顺祝商祺,\n[你的名字]\n销售总监"
  },
  {
    "instruction": "写一封简短的会议邀请邮件。",
    "input": "收件人:产品部全体同事;主题:Q4产品规划脑暴会;时间:本周五下午2点;地点:3号楼大会议室。",
    "output": "主题:邀请参加Q4产品规划脑暴会\n\n各位产品部同事,大家好:\n\n我们将于本周五(具体日期)下午2点,在3号楼大会议室召开第四季度产品规划脑暴会,旨在集思广益,确定下一阶段的产品方向。\n\n请各位提前思考,并准时参加。\n\n谢谢!\n\n[你的名字]"
  }
]

4. 第三步:训练实战——参数配置与避坑指南

选好了模型,准备好了数据,接下来就进入激动人心的训练环节了。现在主流的方式是使用参数高效微调技术,特别是LoRA(Low-Rank Adaptation)和它的量化版本QLoRA。它们能让你用一块消费级显卡微调大模型,简直是平民玩家的福音。这里我以使用Hugging Face的PEFT库进行LoRA微调为例,带你走一遍流程。

环境搭建与依赖安装:首先,你需要一个Python环境(3.8以上),然后安装核心库。我习惯创建一个新的虚拟环境来做这件事,避免包冲突。

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118  # 根据你的CUDA版本选择
pip install transformers accelerate peft datasets bitsandbytes scikit-learn

加载模型与Tokenizer:这里以微调Qwen1.5-7B-Chat模型为例。我们使用bitsandbytes库进行4位量化加载,这能极大减少显存占用。

from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
import torch

model_name = "Qwen/Qwen1.5-7B-Chat"

# 配置4位量化加载
bnb_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.float16,
    bnb_4bit_use_double_quant=True
)

# 加载模型和分词器
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    quantization_config=bnb_config,
    device_map="auto",  # 自动分配多GPU
    trust_remote_code=True
)
tokenizer.pad_token = tokenizer.eos_token  # 设置填充token

配置LoRA参数:这是LoRA微调的核心。我们只训练一小部分参数,而不是整个模型。

from peft import LoraConfig, get_peft_model, TaskType

lora_config = LoraConfig(
    task_type=TaskType.CAUSAL_LM,  # 因果语言模型任务
    r=8,  # LoRA秩,影响参数量,通常8、16、32,越大能力越强但可能过拟合
    lora_alpha=32,  # 缩放因子,通常设为r的2-4倍
    lora_dropout=0.1,  # Dropout率,防止过拟合
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj"]  # 针对Qwen1.5,这些是注意力层和前馈层的投影矩阵
)
model = get_peft_model(model, lora_config)
model.print_trainable_parameters()  # 打印可训练参数量,你会发现只占原模型的0.1%左右

准备训练数据与参数:我们需要把之前构造的指令数据转换成模型训练需要的格式。

from datasets import Dataset
import json

# 假设你的数据在data.jsonl里,每行是一个json对象,包含instruction和output字段
def format_func(example):
    # 将数据格式化为Qwen1.5-Chat模型接受的对话格式
    messages = [
        {"role": "system", "content": "你是一个专业的助手。"},
        {"role": "user", "content": example["instruction"]},
        {"role": "assistant", "content": example["output"]}
    ]
    text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=False)
    return {"text": text}

# 加载并格式化数据
with open("data.jsonl", "r") as f:
    data = [json.loads(line) for line in f]
dataset = Dataset.from_list(data)
dataset = dataset.map(format_func, remove_columns=dataset.column_names)  # 只保留处理后的"text"列

# 拆分训练集和验证集
split_dataset = dataset.train_test_split(test_size=0.1, seed=42)
train_dataset = split_dataset["train"]
eval_dataset = split_dataset["test"]

配置训练器并开始训练:使用Hugging Face的Trainer API。

from transformers import TrainingArguments, Trainer, DataCollatorForLanguageModeling

training_args = TrainingArguments(
    output_dir="./qwen_lora_finetuned",
    num_train_epochs=3,  # 迭代轮次,根据数据量调整,小数据可设5-10
    per_device_train_batch_size=4,  # 根据你的GPU显存调整
    per_device_eval_batch_size=4,
    gradient_accumulation_steps=4,  # 梯度累积,等效增大batch size
    warmup_steps=100,  # 学习率预热步数
    logging_steps=50,
    eval_steps=500,
    evaluation_strategy="steps",
    save_steps=500,
    learning_rate=2e-4,  # LoRA学习率可以设得比全量微调大一点
    fp16=True,  # 混合精度训练,节省显存加速训练
    optim="paged_adamw_8bit",  # 使用8bit优化器,进一步省显存
    report_to="none",  # 不报告到wandb等平台
)

trainer = Trainer(
    model=model,
    args=training_args,
    train_dataset=train_dataset,
    eval_dataset=eval_dataset,
    data_collator=DataCollatorForLanguageModeling(tokenizer, mlm=False),  # 因果语言建模,不是掩码语言建模
)

trainer.train()

训练过程中,你会看到损失(loss)在逐步下降。重点关注验证集损失,如果训练集损失持续下降而验证集损失开始上升,说明可能过拟合了,需要早停(Early Stopping)或增加Dropout。训练完成后,模型会保存在output_dir里。你可以合并LoRA权重到原模型,以便后续部署。

# 保存适配器权重
model.save_pretrained("./my_lora_adapter")

# 如果需要合并权重并保存完整模型(用于某些推理框架)
from peft import PeftModel
base_model = AutoModelForCausalLM.from_pretrained(model_name, ...)  # 重新加载原模型(无需量化)
merged_model = PeftModel.from_pretrained(base_model, "./my_lora_adapter")
merged_model = merged_model.merge_and_unload()
merged_model.save_pretrained("./merged_finetuned_model")
tokenizer.save_pretrained("./merged_finetuned_model")

5. 第四步:评估与部署——如何判断模型真的“学成了”?

训练完成,损失曲线看起来也不错,但模型到底表现如何?不能光看训练日志,必须进行系统性的评估。评估分为“定量”和“定性”两部分,两手都要抓。

定量评估:对于有标准答案的任务(如分类、抽取、封闭式问答),可以使用传统的机器学习指标。例如,在验证集上计算准确率、精确率、召回率、F1分数。对于生成式任务,可以用BLEU、ROUGE这类指标来衡量生成文本与参考文本的相似度,但它们有时与人类判断不符,要谨慎参考。一个更重要的定量指标是验证集损失,它直接反映了模型对未见数据的预测能力。在训练时,我们就是通过监控这个值来判断是否过拟合。

定性评估:人工评测才是金标准。我通常会构建一个包含50-100个典型场景的测试集,覆盖简单、中等、困难以及各种边界情况。然后,让模型和基线模型(比如未微调的原模型,或者GPT-3.5)同时回答这些问题,由业务专家进行盲评打分。评分维度可以包括:

  • 准确性:答案事实正确吗?
  • 相关性:答案切题吗?有没有答非所问?
  • 完整性:答案是否涵盖了问题的要点?
  • 风格符合度:答案的语气、格式是否符合业务要求(如客服的亲切感、技术文档的严谨性)?

部署上线:评估通过后,就可以部署了。对于微调后的模型,部署方案有很多选择:

  1. 本地API服务:使用FastAPI、Flask等框架,搭配vLLM或TGI(Text Generation Inference)这样的高性能推理库,搭建一个RESTful API服务。vLLM的连续批处理和PagedAttention技术能极大提升吞吐量,特别适合高并发场景。
  2. 云端托管:如果你不想管理服务器,可以考虑云厂商的模型托管服务,比如百度的千帆、阿里的灵积、AWS的SageMaker等。它们提供了从训练到部署的一站式平台,通常按调用量计费,省心但成本可能较高。
  3. 边缘设备:对于参数量较小(<7B)的模型,甚至可以尝试使用Llama.cpp、MLC-LLM等工具量化后部署到手机或边缘计算设备上,实现完全离线的智能应用。

在部署后,一定要建立监控机制。记录模型的输入输出,定期抽样检查,关注用户反馈。模型上线不是终点,而是一个新循环的起点。当你发现模型在某些新类型问题上表现不佳时,就意味着需要收集新的数据,进行下一轮的迭代微调了。

DynaMiCS框架:大语言模型动态混合微调的性能约束优化实战 大语言模型微调是自然语言处理中的关键技术环节,其核心原理是通过在预训练模型基础上使用特定领域数据进行参数调整,从而适应下游任务需求。在工程实践中,微调过程需要平衡模型性能、计算资源和训练效率等多重目标,这催生了参数高效微调技术的发展。DynaMiCS框架通过动态混合微调策略,将Full Fine-tuning、LoRA、Adapter等多种技术智能集成,实现了在严格性能约束下的优化平衡。该框架采用强化学习机制进行策略选择,能够根据实时训练状态动态调整微调方法,特别适合企业级应用中面临的计算资源约束和质量保证 阅读详情

相关推荐

开源大语言模型知识库OpenLLMWiki:社区驱动的LLM实战指南

大语言模型(LLM)作为人工智能领域的核心技术,其Transformer架构通过自注意力机制实现了对序列数据的强大建模能力。这一原理催生了众多高效微调技术,如LoRA和QLoRA,它们通过低秩适配显著降低了模型调优的计算成本,提升了技术应用的可行性。这些技术的核心价值在于让开发者能够基于开源模型,快速构建和定制满足特定场景需求的智能应用。在实际工程实践中,无论是构建RAG系统以增强模型的知识检索能力,还是部署推理服务以支撑高并发应用,都需要系统化的知识沉淀和最佳实践指导。OpenLLMWiki项目正是为此而

weixin_30516243的博客 239

​大模型选型与微调实战:从理论到生产的完整指南

随着大语言模型(LLM)技术的蓬勃发展,如何为特定场景选择最合适的基座模型,并通过对领域数据的微调使其发挥最大效能,已成为AI应用落地的核心环节。本文旨在系统性地解析大模型选型的技术考量与商业因素,并深入探讨微调技术(全参数微调、LoRA、QLoRA)的原理与实战。文章将结合具体代码示例、流程图表及最佳实践,为读者提供一份从理论到生产的完整指南。

一起探索IT的世界 902

AI开发教程(十一):大模型微调

大模型微调技术指南:原理、实践与优化 本文系统讲解大语言模型(LLM)微调的核心方法与实践策略,帮助开发者高效适配特定场景。微调技术能在保留模型通用能力的基础上,通过少量领域数据显著提升专业任务表现(如医疗问答、代码生成),且成本远低于全量训练。 核心内容: 微调原理:对比全量微调与参数高效方法(LoRA、PrefixTuning等),分析适用场景与性能差异。 实战流程:以医疗问答为例,详解LoRA微调全流程,包括数据预处理、模型量化、训练部署及评估优化。 进阶技术:覆盖多任务适配、增量微调及推理优化(如4

分享知识,拥抱变化 898

大语言模型微调流程

本文系统介绍大语言模型(LLM)微调技术,包括理论基础、流程方法和实践指南。微调通过领域适应、任务优化等方式提升模型性能,主要方法包括全量微调、参数高效微调(如LoRA)和指令微调。关键环节涵盖数据准备(清洗、增强、划分)、模型配置(学习率、批量大小)、训练监控和评估(指标选择、早停策略),以及部署优化(量化、模型合并)。文章还提供硬件配置建议和代码示例,为从业者提供从理论到实践的完整指导。

这里是数字化与人工智能的 “实验场” 与 “瞭望台” 919

AI原生应用开发:大语言模型的微调与部署最佳实践

随着ChatGPT、GPT-4等大语言模型的爆发,AI原生应用(AI-Native Application)正从“概念”走向“主流”。这类应用以大模型为核心驱动力,而非传统的“代码逻辑+数据库”架构。模型微调(让大模型适配具体场景)与模型部署(让模型高效服务用户),覆盖技术原理、工具选择、实战案例和避坑指南。本文采用“从理论到实践”的递进结构:先通过故事引出核心概念,再拆解微调与部署的技术细节,最后用完整案例演示全流程。核心概念:用“咖啡馆改造”类比解释微调与部署。

AI 原生应用开发的博客 1030

大语言模型对齐实战:基于DPO与KTO的微调指南

大语言模型(LLM)的微调是提升其应用性能的关键环节,其核心在于让模型的输出与人类意图和价值观保持一致,这一过程被称为“对齐”。传统方法如基于人类反馈的强化学习(RLHF)流程复杂且不稳定,而直接偏好优化(DPO)等技术通过简化流程,直接利用偏好数据优化模型,显著提升了工程实践的效率和稳定性。这些技术对于构建安全、可靠、符合特定领域需求的AI应用具有重要价值,广泛应用于客服助手、内容生成、代码编程等场景。本文聚焦于Hugging Face的alignment-handbook工具包,深入解析其如何将前沿的D

weixin_33696822的博客 376

大语言模型应用开发:从理论到实践

大语言模型是指参数量巨大(通常数十亿到数千亿参数)的深度学习模型,通过海量文本数据训练,能够理解和生成人类语言。强大的语言理解能力:能够理解复杂的自然语言指令和上下文生成能力:能够生成连贯、符合语境的文本多任务能力:可以执行问答、翻译、摘要、创作等多种任务少样本学习:通过少量示例即可适应新任务涌现能力:随着模型规模增大,出现的超越训练数据的能力大语言模型的出现为应用开发带来了前所未有的机遇,通过本文介绍的技术和方法,开发者可以快速构建基于大语言模型的各种应用。多模态能力。

lady_mumu的博客 4775

万字详解:大语言模型PE工程化、能力评测及应用落地深度研究报告

它借鉴了现代软件开发的最佳实践,如模块化、版本控制、自动化测试和持续集成/持续部署(CI/CD),旨在实现提示内容的高效开发、质量保障和生命周期管理。同时,必须建立一个高效的反馈闭环机制,系统化地收集、标注和分析线上的Bad Case,并将这些案例补充到测试集中,驱动下一轮的Prompt优化迭代。将LLM技术应用于实际业务场景,尤其是在金融、医疗等高风险、强监管的行业,面临着远超技术本身的复杂挑战。RAG系统的评测是一个多维度的复杂任务,需要将其拆解为“检索”和“生成”两个环节,并关注两者间的协同。

AI天才研究院 4984

LLM大模型微调技术与最佳实践

本报告综合LLM大模型微调领域的技术演进趋势与实践案例,系统梳理微调基础理论、技术方法、数据工程、训练策略、评估体系、行业应用、伦理安全及工具链等核心内容,构建从技术原理到落地实践的完整分析框架。报告以参数高效微调、数据工程、伦理安全为三大核心板块,其中参数高效微调技术(如LoRA、QLoRA、AdaLoRA等)通过冻结预训练模型大部分参数,仅微调少量适配器参数,显著降低计算资源需求;数据工程聚焦数据质量标准(去重、降噪、领域聚焦)、预处理流程(对话模板构建、多语言数据增强)及隐私保护机制;

m0_52307083的博客 1295

保姆级教程:用CellOracle 0.10.13从单细胞数据构建基因调控网络(附完整代码)

本文提供了一份详细的CellOracle 0.10.13使用指南,帮助用户从单细胞数据构建基因调控网络。通过Python接口,即使是生物信息学新手也能快速掌握数据准备、KNN插补、GRN计算及可视化等关键步骤。文章包含完整代码和实用技巧,助力单细胞转录组数据分析。

weixin_42563415的博客 728

Cesium+Three.js融合实战:从零构建GIS与BIM一体化场景

本文详细介绍了如何将Cesium与Three.js进行技术融合,从零构建GIS与BIM一体化场景。通过环境配置、核心场景搭建、坐标转换、性能优化及交互处理等实战步骤,阐述了Cesium负责宏观地理空间渲染、Three.js处理微观精细BIM模型的协同方案,为智慧城市、数字孪生等应用提供关键技术实现路径。

weixin_29230865的博客 464

大语言模型应用落地:从RAG到工作流,IT企业智能转型全攻略!

大语言模型掀起的新一轮智能化浪潮,正深刻影响着IT行业的业务模式和服务形态。从本探讨的RAG、微调、Agent、工作流等应用层技术可以看出,单有强大的LLM并不足以直接创造价值,关键在于如何将其同企业的数据、流程和任务相结合,构建起贴合业务需求的解决方案。RAG让模型有了实时查库的"外脑",微调让模型更懂行业语言,Agent赋予模型行动能力,工作流则将一切串成有机整体。展望未来,随着MCP、A2A等标准的出现,多智能体协作的雏形已现,我们有理由相信企业AI应用将从单兵作战走向"AI团队"协同作业的新阶段。

2401_85343303的博客 493

【头歌实训:逆置顺序表】

根据提示,在右侧编辑器补充函数rev的代码,使用顺序表L的空间就地逆置L。},要求时间复杂度为O(n),空间复杂度为O(1)。第一行为顺序表逆置之前的元素。每个数据后一个空格。第二行为顺序表逆置之后的元素。每个数据后一个空格。本关任务:设计一个算法,将一个顺序表L的元素{a。第一行为顺序表中元素个数n。第二行为空格隔开的n个整数。开始你的任务吧,祝你成功!

guang_Lee的博客 999

AI前沿技术:大语言模型LLM

本文系统介绍了大语言模型(LLM)这一AI前沿技术的核心概念和实践应用。首先阐述了Python在AI开发中的核心地位,以及LLM技术的重要性。随后详细解析了LLM的基本定义、关键术语和技术指标,包括准确性、效率等评估维度。文章深入探讨了LLM的实现原理,通过Python代码示例展示了模型初始化、前向传播、损失计算和参数优化等核心算法流程。最后总结了LLM技术的知识体系框架,强调理解概念间关系的重要性。本文为读者提供了从理论到实践的完整学习路径,帮助掌握这一AI核心技术。

编程世界如山海,探索不止。 1万+

手把手教你用示波器搞定PCIe 5.0 REFCLK时钟信号测量(附完整参数解读)

本文详细介绍了如何使用示波器进行PCIe 5.0 REFCLK时钟信号测量,包括示波器与探头的选择、关键参数的测量方法及解读,以及实战中的常见问题与解决方案。通过手把手教学和完整参数解读,帮助硬件工程师高效完成时钟信号测量,确保系统稳定性。

weixin_28704565的博客 362

基于STM32的坐姿矫正与久坐提醒系统 | 保姆式教程 开源可复刻

本项目基于STM32F103C8T6主控,搭配MPU6050六轴姿态传感器、HC-SR04超声波测距模块,完整实现了坐姿矫正与久坐提醒系统的全流程开发,从多传感器数据采集、数字滤波、姿态解算、坐姿判断到多模式提醒,全流程无跳步保姆式拆解,配套逐行注释可直接编译的开源代码,新手跟着步骤一步步操作,就能顺利完成项目复刻

ZhongWeiXiang9的博客 440

【大模型微调解惑】用合成数据微调模型的最佳实践是什么?

用合成数据微调模型的最佳实践是什么?

人工智能(AI)技术,大模型技术,深度学习,机器学习,计算机视觉,AI工具实践应用等分享 979

测站坐标系统 -- 东北天(ENU)坐标系、站心坐标系

测站坐标系统以观测站(或地面上某一个观测点为中心建立坐标系统,将这类坐标系称为测站坐标系统。测站坐标系通常以用户所在的位置点P为坐标原点三个坐标轴分别是相互垂直的东向北向和天向,因而测站坐标系又称为东北天(ENU)坐标系。由于测站坐标系以站心为坐标原点,因此也称为站心坐标系。如图所示,测站坐标系的天向与大地坐标系(LLA经纬度坐标系)在此点的高程方向一致。测站坐标系固定在地球上,本质上是一种地固坐标系。(1)以站心为坐标原点。(2)Z轴与站心点的椭球法线重合,向上为正。

qq_43381998的博客 1万+

6大核心技术深度解析:Foundations-of-LLMs大语言模型实战指南

Foundations-of-LLMs是一个系统化的大语言模型学习平台,提供从基础理论到前沿技术的完整知识体系。该项目不仅包含详尽的教材内容,还持续更新最新的Arxiv研究进展,帮助开发者快速掌握大模型核心技术,实现从理论到实践的跨越式学习。🚀 --- ## 🔧 项目概述与技术亮点 Foundations-of-LLMs项目由浙江大学团队精心打造,旨在为对大语言模型感兴趣的读者提供系统化

gitblog_00292的博客 769

Claude Code 完全指南:从入门到精通

《AI编程助手ClaudeCode深度指南》摘要 ClaudeCode作为新一代AI编程助手,凭借200K tokens的超长上下文窗口和深度代码理解能力,正在重塑开发工作流程。本文系统介绍了从安装配置到高级应用的完整使用指南: 核心优势包括: 项目级代码理解能力 Agent自主规划复杂任务 原生终端集成支持 多文件协同编辑功能 实战应用场景: 快速理解陌生项目架构 诊断性能瓶颈并提供优化方案 自动生成符合规范的API代码 开发可复用技术组件 高级技巧: 通过CLAUDE.md定义项目规范 合理使用/cle

分享AI、区块链技术及应用,未来已来 605

泛微OA集成阿里云短信(E9保姆教程)

泛微OA集成阿里云短信(E9保姆教程)

技术分享 517

LoRA 高效微调——技术实战指南

LoRA (Low-Rank Adaptation) 是微软在 2021 年提出的一种参数高效微调方法,通过低秩分解大幅减少了可训练参数数量,同时保持了与全参数微调相当的性能。LoRA 的出现使得在消费级硬件上微调大型模型成为可能,极大地降低了 LLM 应用的门槛。 本文将深入剖析 LoRA 的原理、数学推导、架构设计,详细介绍 LoRA 的各种变体(AdaLoRA、QLoRA 等),并通过实际代码示例展示 LoRA 在 SlimPo 项目中的应用。

玄同765的AI应用开发博客 851

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

gelectra-large-germanquad-openmind性能评测:超越人类基线的德语问答模型终极指南

在德语自然语言处理领域,**gelectra-large-germanquad-openmind** 模型以其卓越的问答性能脱颖而出,成为德语问答任务的标杆。这款基于GELECTRA架构的德语问答模型不仅超越了人类基线表现,还专门针对OpenMind平台进行了优化,为德语NLP应用提供了强大的技术支撑。本文将为你详细评测这款模型的性能表现、使用方法和实际应用价值。 ## 📊 模型性能全面评测:

gitblog_00642的博客 392

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

上一篇: 避坑指南:ESP32-C3连接4x4矩阵键盘和OLED的常见问题及解决方案
下一篇: SpringBoot3 + OAuth2.1实战:如何优雅地通过代码管理客户端信息(附完整SQL脚本)
普通网友
博客等级 码龄27年 205粉丝 1502原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值