m0_60121089的博客

本文介绍了LlamaIndex框架在大模型应用开发中的核心功能与优化方法。主要内容包括： 基础组件：详细讲解了LlamaIndex的Prompts构建、Models交互、Loading文档加载、Indexing索引等核心组件，展示了如何通过HTTP协议与大模型交互，并实现RAG应用。 自动化评测：提出使用Ragas框架评估RAG应用质量，包括回答正确性(answer_correctness)、上下文精确度(context_precision)和召回率(context_recall)等指标，通过案例演示了评估

LangGraph构建智能体，接入MCP，Graph核心，构建大模型应用，构建多智能体工作流

LangChain快速上手（访问大模型，流式输出、提示词模板），聊天机器人（chain的构建，保存历史聊天记录），Tools工具机制，Embedding文本向量化，RAG智能问答系统，大模型网络服务的可视化展示，MCP协议入门

本文介绍了使用HuggingFace Transformers库构建NLP模型的完整流程。主要内容包括：1) pipeline流水线封装推理逻辑，支持文本分类等任务；2) tokenizer进行文本预处理，生成input_ids等模型输入；3) model加载预训练模型，包含特征提取器和任务头；4) datasets加载处理数据，支持划分和批处理；5) evaluate评估模型性能；6) trainer简化训练流程。通过文本分类实例演示了从数据加载、预处理、模型训练到评估预测的全过程，使用BERT类模型达到

聊天机器人，翻译助手，联网搜索

本文介绍了免费访问GPT API的方法及使用技巧。主要内容包括：1) 环境变量设置和API基础配置；2) 非流式输出实现（使用requests和OpenAI库）；3) 流式输出实现及数据处理；4) 带历史记录的对话实现方法；5) 嵌入向量(embeddings)的创建和应用。文章详细讲解了API请求的全流程，包括参数设置、响应处理和结果解析，并提供了两种调用方式（requests和OpenAI库）的代码示例，特别强调了流式输出的实现和对话历史的保存机制。最后还介绍了嵌入向量的生成和使用方法。

大模型生成的内容可能存在“幻觉”现象——生成内容看似合理但实际上逻辑混乱或与事实相悖。RAG通常集成了等多个功能模块。具体而言，给定一个自然语言问题（Query），检索器将问题进行编码，并从知识库（如维基百科）中高效检索出与问题相关的文档。然后，将一并传递给大语言模型，大语言模型根据检索到的知识和原始问题生成最终的输出。RAG 的核心优势在于不需要对大语言模型的内部知识进行更新，便可改善大语言模型的幻觉现象，提高生成质量。

在模型编辑的相关研究中，使用最广泛的是由Omer Levy 等人提出的zsRE数据集。zsRE是一个问答任务的数据集，通过众包模板问题来评估模型对于特定关系（如实体间的“出生地”或“职业”等联系）的编辑能力。在模型编辑中，zsRE数据集用于检查模型能否准确识别文本中的关系，以及能否根据新输入更新相关知识，从而评估模型编辑方法的。

下游任务适配对于预训练数据涉及较少的垂直领域，大语言模型需要对这些领域及相应的下游任务进行适配。上下文学习和指令微调是进行下游任务适配的有效途径，但它们在效果或效率上存在缺陷。为弥补这些不足，参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）技术应运而生。通过上述方法构建完数据集后，可以用完全监督的方式对预训练模型进行微调，在给定指令和输入的情况下，通过顺序预测输出中的每个token来训练模型。参数高效微调参数附加方法。

在 Prompt 进入大模型之前，需要将它拆分成一个Token 的序列，其中Token 是。

然而模型规模和数据规模的增长并非没有代价，它们带来了更高的计算成本和存储需求，这要求我们在模型设计时必须在资源消耗和性能提升之间找到一个恰当的平衡点。为了应对这一挑战，大语言模型的应运而生。模型训练数据规模以及参数数量的不断提升，不仅带来了上述学习能力的稳步增强，还为大模型“解锁”了一系列新的能力，例如值得注意的是，这些新能力并非通过在特定下游任务上通过训练获得，而是随着模型复杂度的提升凭空自然涌现。这些能力因此被称为大语言模型的。

语言是概率的。并且，语言的概率性与认知的概率性也存在着密不可分的关系。语言模型（Language Models, LMs）旨在的概率。