【自然语言处理与大模型】
文章平均质量分 81
由本人自己的学习笔记为基础,扩展相关自然语言处理知识。从NLP的小白一步步探索LLM的秘密!后续会在文章中补充代码仓库,提供学练一体的专栏服务。
小oo呆
会当凌绝顶!一览众山小!
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
【自然语言处理】提示词编写指南
本文分享了构建优秀提示词(Prompt)的心得与技巧。首先总结了提示词的通用原则:明确性、上下文、结构化和渐进式优化。针对文本生成,提出五要素公式。对于图像/视频生成,强调具象化描述的五要素。原创 2026-01-03 09:21:48 · 773 阅读 · 0 评论 -
【自然语言处理与大模型】LangChainV1.0入门指南:核心组件Structured Output
LangChain所提供的两种结构化输出的核心策略,以及如何直接让大模型能具备结构化输出能力,和如何让Agent具备结构化输出能力。原创 2025-12-28 20:01:39 · 667 阅读 · 0 评论 -
【自然语言处理与大模型】LangChainV1.0入门指南:核心组件Streaming
本文介绍了LangChain支持的4种流式输出方式,可实时逐步返回LLM生成结果。支持的流式模式包括:AgentProgress模式(监控执行流程)、LLMTokens模式(实时显示文本)、CustomUpdates模式(自定义数据)和混合模式。通过将invoke改为stream/astream并指定stream_mode参数即可激活流式输出。原创 2025-12-27 23:59:20 · 449 阅读 · 0 评论 -
【自然语言处理与大模型】LangChainV1.0入门指南:核心组件Short-term Memory
短期记忆 = Agent 状态(State) + 检查点持久化(Checkpointer) + 线程标识(thread_id)原创 2025-12-27 23:08:37 · 546 阅读 · 0 评论 -
【自然语言处理与大模型】LangChainV1.0入门指南:AgentState介绍
AgentState是LangChain中用来表示智能体在执行过程中描述当前状态的核心数据结构。它是整个工作流的“上下文容器”或“共享内存”,在各个节点之间传递,并随着流程推进不断被读取、修改和持久化。所以我一般叫他“运行时上下文状态对象”原创 2025-12-24 23:46:30 · 515 阅读 · 0 评论 -
【自然语言处理与大模型】LangChainV1.0入门指南:核心组件Messages
LangChain中的Messages是模型交互的基本单元,包含角色(role)、内容(content)和元数据(metadata)。支持多种提示词类型:文本提示、消息对象提示和OpenAI格式提示。消息对象包括HumanMessage(用户输入)、AIMessage(模型响应)、SystemMessage(系统指令)和ToolMessage(工具调用),支持多模态内容(文本/图像等)。通过标准化消息类型确保跨模型一致性,同时保留直接使用字符串或元组的兼容性。原创 2025-12-22 22:39:02 · 305 阅读 · 0 评论 -
【自然语言处理与大模型】LangChainV1.0入门指南:核心组件Tools
本文介绍了LangChainV1.0中三种创建工具的方法及其在大模型和智能体中的使用方式。原创 2025-12-22 22:25:34 · 711 阅读 · 0 评论 -
【自然语言处理与大模型】LangChainV1.0入门指南:核心组件Agents
本文介绍了如何使用LangChain快速搭建基于ReAct范式的智能体。主要内容包括:1)通过create_agent函数创建智能体,只需指定语言模型和系统提示词;2)演示了智能体的基本使用方法,通过inputs字典传递用户消息并获取响应。文章还指出智能体可扩展工具功能,当前示例为基本版本,仅能基于模型知识回答问题。原创 2025-12-20 23:57:06 · 390 阅读 · 0 评论 -
【自然语言处理与大模型】LangChainV1.0入门指南:核心组件Models
本文介绍了LangChain的核心组件Models,并给出了接入Chat模型和Embedding模型的方法。原创 2025-12-20 23:15:13 · 1086 阅读 · 0 评论 -
【自然语言处理与大模型】多模态RAG的核心概念
多模态 RAG 是将检索增强生成技术扩展至多模态数据场景的系统架构。主要涵盖以下两个关键维度:富媒体文档问答和多模态输入问答原创 2025-12-07 12:33:36 · 995 阅读 · 0 评论 -
【自然语言处理与大模型】三种实现多模态技术的路线
当前多模态领域,尤其是在信息检索和处理场景下,最具代表性的三条主流技术路线。它们代表了三种不同的思想:空间对齐、路径并行和模态转换。原创 2025-12-07 04:10:16 · 1378 阅读 · 0 评论 -
【自然语言处理与大模型】BERTopic主题建模
BERTopic是什么?核心原理与关键步骤?原创 2025-11-17 11:02:52 · 990 阅读 · 0 评论 -
【自然语言处理与大模型】主题建模 Topic Modeling
NLP任务之主题建模是什么?原创 2025-11-17 10:44:34 · 383 阅读 · 0 评论 -
【自然语言处理与大模型】LlamaIndex快速入门②
给大家介绍LlamaIndex的数据加载、数据连接和文本分割。原创 2025-09-27 23:17:04 · 347 阅读 · 0 评论 -
【自然语言处理与大模型】LlamaIndex快速入门①
LlamaIndex四行代码实现一个简单的RAG原创 2025-09-27 23:02:33 · 474 阅读 · 0 评论 -
【自然语言处理与大模型】RAG发展过程中的三个范式
初级 RAG(Naive RAG)、高级 RAG(Advanced RAG)、模块化 RAG(Modular RAG)原创 2025-09-26 11:13:55 · 1124 阅读 · 0 评论 -
【自然语言处理与大模型】RAFT(Retrieval Augmented Fine Tuning)方法
RAFT 的本质是用检索增强来生成高质量训练数据,再通过微调把“外挂知识”变成“内功修为”。原创 2025-09-25 19:49:43 · 1338 阅读 · 0 评论 -
【自然语言处理与大模型】不同阶段提升RAG质量方法
构建索引阶段、知识检索阶段、增强生成阶段,在不同阶段提升RAG质量方法。原创 2025-09-25 02:59:11 · 1072 阅读 · 0 评论 -
【自然语言处理与大模型】大模型应用开发四个场景
大模型应用开发的4个场景:Prompt、RAG、Agent、微调。原创 2025-09-19 20:35:05 · 1265 阅读 · 0 评论 -
【自然语言处理与大模型】开关推理模型的思考功能
开关推理模型的思考功能的两种方法:1、/no_think 2、enable_thinking原创 2025-09-10 03:32:57 · 806 阅读 · 0 评论 -
【自然语言处理与大模型】如何通过微调来提升Agent性能?
如何通过微调来agent性能?高效微调提升 Agent 工具调用能力的关键是什么?如何设计强化学习中的奖励函数来优化Agent性能?关于为什么强化学习比纯指令微调更适合提升 Agent 的性能?原创 2025-09-08 02:12:24 · 1098 阅读 · 0 评论 -
【自然语言处理与大模型】开源大模型config文件(Qwen3为例)
开源大模型的配置参数中都写了些什么原创 2025-09-08 01:10:47 · 1186 阅读 · 0 评论 -
【自然语言处理与大模型】多机多卡分布式微调训练的有哪些方式
一、分布式微调训练的有哪些方式?二、工程实践中通信带宽不足对分布式训练的影响?三、如何有效处理多机多卡训练中的单节点故障?四、在多机多卡微调场景中,ZeRO优化器发挥着什么作用?原创 2025-08-30 19:11:44 · 825 阅读 · 0 评论 -
【自然语言处理与大模型】如何进行大模型多模态微调
一、如何进行大模型多模态微调?二、多模态微调的数据集该怎么构建?三、多模态微调的典型应用场景有哪些?原创 2025-08-30 13:22:59 · 1414 阅读 · 0 评论 -
【自然语言处理与大模型】微调数据集如何构建
1、微调数据集如何构建?2、大模型微调数据集规模如何预估?3、工业环境下微调数据集应该如何创建?4、强化学习微调需要如何准备数据集呢?原创 2025-08-26 13:44:25 · 1314 阅读 · 0 评论 -
【自然语言处理与大模型】微调与RAG的区别
1、什么时候用微调?什么时候用RAG?2、微调的优缺点?RAG的优缺点?3、微调与RAG并不对立,常常结合使用。4、模型微调可能存在哪些风险?5、模型微调和模型蒸馏的区别?原创 2025-08-21 17:12:55 · 881 阅读 · 0 评论 -
【自然语言处理与大模型】大模型Agent四大的组件
Agent System Overview:大模型Agent四大的组件原创 2025-05-26 23:54:57 · 1144 阅读 · 1 评论 -
【自然语言处理与大模型】大模型(LLM)基础知识⑤
如何保证大模型生成内容的合规性?如何对超长文本进行微调训练?原创 2025-05-26 23:27:09 · 1296 阅读 · 0 评论 -
【自然语言处理与大模型】向量数据库:Milvus使用指南
Milvus使用指南原创 2025-05-19 01:20:48 · 821 阅读 · 0 评论 -
【自然语言处理与大模型】向量数据库:Chroma使用指南
Chroma使用指南原创 2025-05-18 23:36:38 · 1170 阅读 · 0 评论 -
【自然语言处理与大模型】向量数据库技术
介绍了向量数据库技术是什么,并推荐了4个目前使用最广的向量数据库。原创 2025-05-18 22:28:00 · 1598 阅读 · 0 评论 -
【自然语言处理与大模型】大模型(LLM)基础知识④
(1)微调主要用来干什么?(2)为什么不选择直接使用微调来实现专业领域问答系统?(3)实际应用中如何实现专业领域问答呢?(4)大模型应用落地的三个方向是?(5)哪些模型参数来控制对话生成的自由度和多样性?(6)RAG的优点有哪些?(7)RAG的缺点有哪些?(8)RAG的核心优势与核心痛点是什么?(9)什么是模态?什么是多模态?(10)多模态有哪些应用场景?原创 2025-05-17 18:48:26 · 1161 阅读 · 0 评论 -
【自然语言处理与大模型】Windows安装RAGFlow并接入本地Ollama模型
本文介绍了如何安装RAGFlow,并展示了简单的RAG如何创建并使用。原创 2025-05-17 00:42:32 · 1828 阅读 · 0 评论 -
【自然语言处理与大模型】Windows安装Dify并接入本地Ollama模型
本文还详细介绍了如何在本地通过Docker部署Dify,并配置Ollama模型以快速启动一个聊天助手。原创 2025-05-16 01:24:19 · 1104 阅读 · 0 评论 -
【自然语言处理与大模型】LlamaIndex的词嵌入模型和向量数据库
嵌入模型(Embedding Model)的本质在于将高维的、稀疏的数据转换为低维的、密集的向量表示,使得这些向量能够在数学空间中表达原始数据的语义信息。降维表示:嵌入模型能够将文本、图像或其它类型的数据映射到一个连续的向量空间中,这个过程通常伴随着维度的降低。例如,一个包含大量词汇的文本可以通过嵌入模型被表示为固定长度的向量。捕捉语义关系:在生成的向量空间中,相似或相关的概念在空间中的距离较近,而不相关或相异的概念则距离较远。这意味着嵌入模型不仅能捕捉单个词语或数据点的含义,还能反映它们之间的语义关系。原创 2025-05-06 23:57:16 · 870 阅读 · 1 评论 -
【自然语言处理与大模型】LlamaIndex的数据连接器和对话引擎
RAG的通用流程?LlamaIndex如何实现RAG?原创 2025-05-05 23:59:54 · 617 阅读 · 2 评论 -
【自然语言处理与大模型】使用Xtuner进行模型合并与导出
轻松地将在 Xtuner 中训练得到的模型转换为可以在 Hugging Face 平台上使用的格式,方便后续的应用原创 2025-05-03 23:57:47 · 735 阅读 · 0 评论 -
【自然语言处理与大模型】使用Xtuner进行QLoRA微调实操
手把手演示如何使用Xtuner对模型进行微调训练,包括数据准备、训练命令执行及训练过程中的监控技巧。最后,在完成微调之后,本文还将介绍如何对微调结果进行简单对话测试。原创 2025-05-02 23:57:50 · 1671 阅读 · 1 评论 -
【自然语言处理与大模型】如何获取特定领域的微调数据集?
在少量原始对话样本的基础上,通过调用大模型 API(如 GLM 系列) 自动生成大量风格一致、语义合理的对话数据,用于扩充训练集或提升下游任务表现。原创 2025-04-30 23:58:29 · 724 阅读 · 0 评论 -
【自然语言处理与大模型】大模型意图识别实操
本文先介绍一下大模型意图识别是什么?如何实现?然后通过一个具体的实战案例,详细演示如何运用大模型完成意图识别任务。最后,对大模型在该任务中所发挥的核心作用进行总结归纳。原创 2025-04-30 15:19:05 · 3708 阅读 · 0 评论
分享