猫在上海-优快云博客

原创基于LSTM的文本多分类任务

LSTM（Long Short-Term Memory，长短时记忆）模型是一种特殊的循环神经网络（RNN）架构，由Hochreiter和Schmidhuber于1997年提出。LSTM被设计来解决标准RNN在处理序列数据时遇到的长期依赖问题，即难以学习时间序列中相隔较远的事件之间的关联。LSTM模型的核心是它的细胞（cell）状态和三个控制门结构：遗忘门（forget gate）、输入门（input gate）和输出门（output gate）。

2024-11-28 20:47:46 1486

原创融合模型VotingRegressor 在线性数据上的比对与应用

本文主要验证融合模型与传统单一模型在线性数据上的比对与验证。数据为汽车价格的预测，附件可下载。

2024-11-25 20:12:26 311

原创 Naive RAG 、Advanced RAG 和 Modular RAG 简介

RAG（Retrieval-Augmented Generation）系统是一种结合了检索（Retrieval）和生成（Generation）的机制，用于提高大型语言模型（LLMs）在特定任务上的表现。随着技术的发展，RAG系统经历了几个阶段的演变，包括Naive RAG、Advanced RAG和Modular RAG。

2024-05-14 19:25:48 3202

原创通义千问 1.5 -7B fine-tune验证

尝试对对中文数据进行finetune验证，测试模型的可优化方向。下面是代码的详细情况中文摘要相关数据git clone https://www.modelscope.cn/datasets/DAMO_NLP/lcsts_test_set.git模型加载数据预处理模型训练运行结果：告诉大模型任务是文本的摘要调整学习率1e-4只是延缓了过拟合的情况发生。增加训练集后期过拟合的只有更快了。以上是文本的全部内容，有好的方法希望一起讨论。感谢。

2024-05-14 17:50:28 788

原创 LLAMA3中文语料 fine tune 测试与比对

Meta开发并发布了Meta-Lama 3大语言模型家族（LLM），Llama 3指令调优模型针对对话用例进行了优化，在常见的行业基准上优于许多可用的开源聊天模型。本文尝试对LLAMA3 在中文语料中尝试进行fine tune 为后续对通义千问的模型进行比较。

2024-05-13 14:18:49 1232

原创使用QLoRA在自定义数据集上finetuning 大模型 LLAMA3 的数据比对分析

微调LLM涉及对预先存在的模型进行额外的训练，该模型之前使用较小的特定领域数据集从广泛的数据集中获取了模式和特征。在“LLM微调”的上下文中，LLM表示“大型语言模型”，例如OpenAI的GPT系列。这种方法具有重要意义，因为从头开始训练大型语言模型在计算能力和时间方面都是高度资源密集型的。利用嵌入预训练模型中的现有知识允许在显著减少数据和计算需求的情况下实现特定任务的高性能。LoRA是一种改进的微调方法，其中不是微调构成预训练的大型语言模型的权重矩阵的所有权重，而是微调近似于该较大矩阵的两个较小矩阵。

2024-05-09 20:41:48 1225

原创基于 llama2 的提示词工程案例2

优化大型语言模型（LLMs）中的提示词（prompts）是提高模型性能和输出相关性的重要手段。以下是一些优化提示词的方向：明确性：确保提示词清晰明确，直接指向所需的信息或任务。上下文提供：在提示词中提供足够的上下文信息，帮助模型更好地理解问题。简洁性：尽量使提示词简洁，避免不必要的信息，以免造成混淆。语法正确：使用正确的语法和拼写，因为模型可能会模仿提示词中的语法结构。使用关键词：在提示词中包含与查询相关的关键词或概念。避免歧义：尽量避免模糊不清的表述，减少模型产生多种解释的可能性。

2024-05-06 11:46:41 1575

原创基于LLama3、Langchain,Chroma 构建RAG

使用Llama3 Langchain和ChromaDB创建一个检索增强生成（RAG）系统。这将允许我们询问有关我们的文档（未包含在训练数据中）的问题，而无需对大型语言模型（LLM）进行微调。在使用RAG时，首先要做一个检索步骤，从一个特殊的数据库中提取任何相关的文档，本文使用的是《欧盟人工智能法案》文本。

2024-05-05 22:27:49 4279 6

原创基于 llama2 的提示词工程案例

在大型语言模型（Large Language Models, LLMs）中，提示词工程（Prompt Engineering）是至关重要的，它涉及设计和构建输入提示，以便有效地引导模型生成期望的输出。以下是提示词工程重要性的几个关键点：精确性：良好的提示词可以帮助模型更准确地理解用户的意图，从而生成更精确的回答或执行特定的任务。上下文提供：提示词可以为模型提供必要的上下文信息，这对于生成相关和连贯的输出至关重要。引导行为：通过精心设计的提示词，可以引导模型的行为，使其按照特定的方式响应，这对于特定的应用场景

2024-05-04 00:01:27 1178 1

原创 LangChain 入门8 加载huggingface模型的案例对比

langchain加载 huggingface模型和ollama 的一些区别在于它们的使用场景、安装部署方式、以及与LangChain的集成方式。Hugging Face模型通常托管在Hugging Face Model Hub上，可以用于多种自然语言处理任务，如文本分类、问答、文本生成等。Ollama专注于运行大型语言模型（LLMs），如Llama 2和Mistral，提供了本地运行这些模型的能力。Hugging Face模型可以通过Hugging Face Hub直接调用，也可以本地安装和运行。

2024-05-02 21:33:07 2861 1

原创 LangChain 入门7 格式化输出

"""从字符串中提取JSON内容，JSON嵌入在```JSON和```标记之间。参数：text（str）：包含JSON内容的文本。退货：list：提取的JSON字符串的列表。"""# 定义正则表达式模式以匹配JSON块s)```"# 在字符串中查找模式的所有非重叠匹配# 返回匹配的JSON字符串列表，去掉任何开头或结尾的空格try:从字符串中提取JSON内容，JSON嵌入在```JSON和```标记之间。参数：text（str）：包含JSON内容的文本。

2024-05-02 13:02:35 2425 1

原创 LangChain 入门6 magic不同格式文件的读取

除了原始文本数据，可能还希望从其他文件类型（如PowerPoint演示文稿或PDF）中提取信息。可以使用LangChain文档加载程序将文件解析为可以输入LLM的文本格式。

2024-05-01 22:15:13 1005 2

原创 LangChain 入门5 Ollama 美化输出与Function-calling

维基百科API检索器。它将load（）包装为get_relevant_documents（）。它使用所有WikipediaAPIWrapper参数，没有任何更改。通过分析和验证来自关键字参数的输入数据来创建一个新模型。如果无法解析输入数据以形成有效的模型，则引发ValidationError。结果返回现在我们已经有了一个模型、检索器和提示，让将它们链接在一起。需要添加一些逻辑，将检索到的文档格式化为可以传递给提示的字符串。以便链的同时返回答案和检索到的文档。

2024-04-29 18:43:47 3538 4

原创 LangChain 入门4 RAG链式输出

通常在问答应用程序中，向用户显示用于生成答案的来源是很重要的。最简单的方法是让链返回在每一代中检索到的文档。

2024-04-28 12:41:20 743

原创 LangChain入门3 基于历史对话的RAG构建

加载和处理历史对话：首先，需要将历史对话加载到系统中。LangChain 可以使用 ChatMessageHistory 类来记录和处理所有先前的聊天互动。构建独立的检索问题：对于对话中的后续问题，LangChain 可以使用特定的提示模板（如 CONDENSE_QUESTION_PROMPT），将对话历史和最新问题结合起来，形成一个独立的检索问题。检索相关文档：使用检索器（Retriever）从存储中检索与当前问题和历史对话相关联的文档片段。

2024-04-27 18:12:21 4230 1

原创 LangChain入门2 RAG详解

最常见的方法是嵌入每个文档分割的内容，并将这些嵌入插入到矢量数据库（或矢量存储）中。当我们想搜索分割时，我们采用文本搜索查询，嵌入它，并执行某种“相似性”搜索，以识别嵌入与查询嵌入最相似的存储分割。我们将使用LCEL Runnable协议来定义链，使我们能够以透明的方式将组件和函数管道连接在一起，在LangSmith中自动跟踪我们的链，从而获得流式、异步和批量调用。我们想要创建一个简单的应用程序，该应用程序接受用户问题，搜索与该问题相关的文档，将检索到的文档和初始问题传递给模型，并返回答案。

2024-04-27 14:28:08 3054

翻译 LangChain入门1 构建大模型对话与RAG

本文主要对langchain 的官网内容进行翻译以及进行验证与注释。希望可以对langchain 的学习给到帮助。，有兴趣也可以直接阅读官网。

2024-04-26 22:25:24 532 1

原创基于Llama2与分布式框架Accelerate 进行Finetuning金融新闻情绪分析

Accelerate 是 Hugging Face 提供的一个库，它的主要目的是简化在多种硬件配置上进行深度学习模型训练的过程。以下是关于 Accelerate 的一些关键点：简化分布式训练：Accelerate 允许研究人员和开发人员在不同的硬件配置上（包括 CPU、单个 GPU、多 GPU、TPU以及多节点设置）进行模型训练，而无需对原始代码进行大量修改。自动化混合精度训练：它支持自动混合精度（AMP）训练，这有助于提高训练效率和减少内存使用。

2024-04-24 16:46:12 1121

原创基于gpt2 finetuning 垂直领域 ai 代码写作案例

Fine-tuning是一种机器学习技术，特别是在深度学习和自然语言处理（NLP）领域中非常常见。这种方法涉及将一个在大型数据集上预训练（pre-trained）的模型，调整（tune）到一个更小、更具体的任务上。Fine-tuning通常可以提高模型在特定任务上的性能，因为模型已经具备了从大量数据中学习到的通用知识。

2024-04-23 20:57:28 1033

原创基于phi-2 大预言模型Lora训练与模型评估

QLoRA代表了LoRA的一种更具内存效率的迭代。QLoRA还通过将LoRA适配器（较小矩阵）的权重量化到较低精度（例如，4-bit而不是8-bit），使LoRA更进一步。这进一步减少了内存占用和存储需求。在QLoRA中，预训练的模型用量化的4位权重加载到GPU存储器中，而在LoRA中使用的是8位。尽管比特精度有所下降，QLoRA仍保持着与LoRA相当的有效性水平。安装所需的库加载数据集创建和字节配置加载经过预训练的模型对原始模型进行测试预处理数据集为QLoRA准备模型。

2024-04-22 00:12:32 1444 2

原创 lamma + Langchain 对 RAG 无监督情况下向量数据库条数的分析

在使用大模型对垂直领域的数据进行RAG 强化搜索时，遇到在对无监督的情况下如何选择从向量数据中摘选有效信息。本文从返回的条数以及评价方式的角度进行实现。仅作为思考的方向之一。有其他的方法欢迎讨论。

2024-04-18 20:29:22 488

原创 ollama 大预言模型与多模态模型使用

此外，Baklava 模型可能采用了一些先进的深度学习架构，如 Transformer，来处理序列数据，并利用注意力机制（Attention Mechanism）来聚焦于输入数据中的关键部分。例如，在视觉问答任务中，模型不仅需要理解问题的文本内容，还需要分析图像中的相关视觉信息，以生成准确的答案。：LangChain Ollama可能具备持续学习和优化的能力，能够根据新的数据和反馈不断改进模型的性能。上面的流程为使用ollama 进行对多模态模型的应用，通过大模型来理解图片中的内容。

2024-04-14 21:42:51 4177 1

原创 Langchain Ollama安装与使用

通过Ollama，用户可以访问和运行一系列预构建的模型，或者导入和定制自己的模型，而无需关注复杂的底层实现细节。‘周杰伦的私人住所信息是受隐私保护的，公开的信息往往是他在台湾的一些工作地点或者公共场所。xcopy /e “C盘路径.ollama\models” “本地磁盘:\模型目录” 注意要和上面的变量值一致。mklink /j “C盘路径.ollama\models” “本地磁盘:\模型目录”http://localhost:3000/ 登录需要注册下在本地。

2024-04-14 16:36:07 2880 1

原创 Windows 系统 tabby 智能代码服务搭建

是本地的IP4的地址在本地电脑上网络，选择属性后可以看到。操作都在tabby的文件夹路径上操作。选择 open git bash here (如果没有检查git 的安装）下载到本地是这样的一个安装包，双击安装会默认c盘后续暂时不需要操作。tabby最后安装的过程需要翻墙！在docker上可以查看具体的情况。执行完成后是这样的一个文件。

2024-04-12 10:28:52 642

原创使用 llama2,langchain,ChromaDB构建RAG

使用llama,langchain,ChromaDB构建RAG

2024-04-07 15:07:16 1913

weixin_41870426的博客