_小雨林-优快云博客

原创 Project：电商图谱&智能客服系统

本项目构建了一个电商知识图谱系统，采用Neo4j图数据库存储数据，结合MySQL关系型数据库和多种技术栈实现。系统包含数据准备、实体抽取模型训练、知识图谱构建和智能问答四个核心模块。通过Label-studio进行数据标注，训练BERT模型实现实体抽取；利用Python连接MySQL和Neo4j完成数据同步；最后基于LangChain框架开发问答系统，支持语义检索和自然语言回答。项目实现了商品分类、属性、品牌等实体及其关系的可视化存储与查询，为电商场景提供智能客服功能。代码已开源在GitHub仓库。

2026-05-15 11:19:28 416

原创（UPDATING）LLM微调之实战，SFTTrainer官方案例、LoRA/QloRA微调案例、Unsloth、分布式训练、LLaMA Factory

LLM微调之实战，SFTTrainer官方案例、LoRA/QloRA微调案例、Unsloth、分布式训练、LLaMA Factory

2026-04-21 12:24:28 505

原创 LLM微调原理之监督微调SFT，全参/参数高效微调，LoRA、QloRA、分布式训练（ZeRO）

LLM微调原理之监督微调SFT，全参/参数高效微调，LoRA、QloRA、分布式训练（ZeRO）

2026-04-16 15:56:15 485

原创 LLM发展历史与架构演进，包括Attention（MHA、MQA、GQA、MLA），FFN（激活函数，Moe），残差连接和归一化，位置编码（旋转位置编码RoPE）

LLM发展历史与架构演进，包括Attention（MHA、MQA、GQA、MLA），FFN（激活函数，Moe），残差连接和归一化，位置编码（旋转位置编码RoPE）

2026-04-14 16:59:57 477

原创 LangChain开发框架，Model I/O，Chains，RAG流程，agent，添加记忆，MCP，多Agent案例

LangChain是一个由哈佛大学Harrison Chase开发的开源框架，用于构建基于大语言模型(LLM)的应用程序。它提供Prompt构建、LLM接入、记忆管理、工具调用等模块，支持开发Agent、问答系统、对话机器人等应用。核心功能包括：1)Model I/O模块处理模型交互；2)Chains模块实现组件链式调用；3)RAG技术增强模型知识；4)Agent开发赋予模型决策能力。框架支持多种开发场景：纯Prompt交互、Agent+功能调用、检索增强生成(RAG)和模型微调。

2026-04-09 18:03:00 618

原创云服务器——购买和连接云服务器

阿里云推荐通过指定活动链接访问，AutoDL需进入算力市场选择配置。1)通过Win+R打开终端输入账号密码或使用JupyterLab；2)添加SSH解释器时需复制登录指令，注意端口号、用户名(root)、IP地址和密码的对应关系。建议优先使用系统默认环境配置。

2026-03-24 14:52:29 89

原创 Hugging Face生态，包括Datasets、Tokenizers、Transformers的API使用，预训练模型+微调案例

HuggingFace是一个开源的AI生态系统，通过Transformers库降低了BERT、GPT等预训练模型的使用门槛。其核心功能包括：1）模型加载（AutoModel类自动适配任务头）；2）Tokenizer处理文本到张量转换；3）Datasets库简化数据处理；4）支持NLP、CV等多模态任务。文中还展示了基于BERT的中文情感分析实战案例，涵盖数据预处理、模型训练（使用BCEWithLogitsLoss）、预测评估全流程，并比较了自定义模型与带任务头模型的实现差异。HuggingFace通过模块化

2026-03-24 13:46:18 469

原创三种预训练模型架构GPT、BERT、T5

早期的自然语言处理需为每个任务单独训练模型，严重依赖人工标注数据，存在两大局限：语言知识难以复用导致训练成本高；专业领域标注数据获取困难。为此研究者提出"预训练+微调"范式：先在大规模未标注语料上学习通用语言规律，再通过少量标注数据适配具体任务。

2026-03-18 12:49:31 639

原创 Transformer模型、整体结构，编码器与解码器内部组成，自注意力机制，位置编码，mask机制，API使用，附中英翻译案例

摘要：Transformer模型通过完全摒弃RNN结构，采用自注意力机制直接建模序列关系，解决了传统Seq2Seq模型效率低和长距离依赖问题。其核心结构包括编码器（多头自注意力+前馈网络）和解码器（带掩码的自注意力+交叉注意力），通过残差连接和层归一化提升训练稳定性。位置编码机制解决了语序感知问题。PyTorch实现了完整的Transformer架构，支持自定义参数配置。案例展示了中英翻译任务的具体实现，包括位置编码、词嵌入、模型训练和推理流程，验证了Transformer在序列建模任务中的有效性。

2026-03-13 19:24:09 469