- 博客(309)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 17、Swift框架微调实战（2）-QWQ-32B LORA微调cot数据集
QwQ 是 Qwen 系列的大模型之一，专注于 推理能力（reasoning）。相比于传统的 指令微调（instruction-tuned） 模型，QwQ 具备 思考与推理（thinking and reasoning） 的能力，因此在各种下游任务（特别是复杂问题）上，能实现 显著的性能提升。QwQ-32B 是该系列的 中等规模推理模型，其性能可媲美当前最先进的推理模型，如 DeepSeek-R1 和 o1-mini。QwQ 32B 模型，具有以下特性：下载地址：https://www.modelscop
2025-04-03 16:04:20
449
原创 16、Swift框架微调实战（1）-自我认知数据LORA微调
ms-SWIFT GitHub项目主页：ms-swift（ Scalable lightWeight Infrastructure for Fine-Tuning）是由魔搭社区（ModelScope） 开发的高效微调和部署框架，旨在为研究人员和开发者提供一站式的大模型与多模态大模型的训练、推 理、评测、量化和部署解决方案。
2025-04-03 16:02:42
826
原创 Windows环境下MySQL安装与配置
选中MySQL Server,点击下方options设置安装目录以及数据存放位置（不要包含中文以及中文空格）地址：https://dev.mysql.com/downloads/至此，软件的安装部分就安装完毕，点击next进行后续配置。选择MySQLServer，其他产品根据自己需要进行添加。点击finish->next->finish。终端输入：mysql --version。双击系统变量中的Path，点击execute继续。
2025-02-28 14:56:33
237
原创 graphRAG的原理及代码实战（3）基本原理介绍（下）
在GraphRAG的查询阶段，核心任务是基于构建好的知识图谱来检索相关信息并生成回答。具体来说，查询阶段会利用之前在 索引阶段 构建的所有实体、关系和社区报告等信息，结合用户的查询请求，自动选择最相关的上下文，并通过大语言模型（如GPT等）生成智能化的回答。GraphRAG检索方式有两种，本地搜索和全局搜索本地搜索：主要聚焦于回答与特定实体相关的问题，适用于需要理解输入文档中提到的特定实体细节的场景，比如查询 “洋甘菊的治疗特性是什么”，旨在从文档中提取与该特定实体紧密相关的信息。
2025-02-25 15:52:22
834
原创 15、DeepSeek R1高效微调实战
将 重点介绍如何使用主流微调框架unsloth，围绕DeepSeek R1 Distill 7B模型进行高效微调，并详细 介绍专门用于推理大模型高效微调的COT数据集的创建和使用方法，并在一个医学数据集上完成高效微 调实战，并最终达到问答风格优化+知识灌注目的，让模型在微调过程中掌握复杂医学问题的专业推理过 程，并提高疾病诊断的准确率。尽管全量微调可以对模型的能力进行深度改造，但要带入模型全部参数进行训练，需要消耗大量的 算力，且有一定的技术门槛。而该数据集也是可以用于推理模型微调的数据集。
2025-02-25 15:50:38
916
原创 14、deepseek视觉大模型Janus Pro本地部署及实战
2025.01.27： Janus-Pro发布，Janus的高级版本，显著提高了多模态理解和视觉生成。Janus-Pro 是 Janus 的高级版本。具体来说， Janus-Pro 包括以下改进：优化的训练策略、 扩展的训练数据以及更大规模的模型。通过这些改进， Janus-Pro 在多模态理解和文本生成图像的指令跟 随能力上取得了显著进步，同时还提升了文本生成图像的稳定性。git连接Janus 是一种新颖的自回归框架，它统一了多模态理解和生成。
2025-02-14 17:03:09
1606
原创 graphRAG的原理及代码实战（2）基本原理介绍（中）
前文中，graphRAG项目index索引建立完成后，会生成7个parquet文件。为什么用 Parquet 格式保存知识图谱？高效存储：知识图谱中的数据通常是结构化的，包含大量的实体、关系、嵌入等。Parquet 的列式存储能够显著减少磁盘占用，同时提高读取效率。快速读取：查询阶段需要快速加载实体、关系、嵌入等数据到内存中。Parquet 支持按需加载所需的列，避免了不必要的数据读取。
2025-02-14 16:30:39
1225
原创 graphRAG的原理及代码实战（1）基本原理介绍（上）
GraphRAG通过利用大模型从原始文本数据中提取知识图谱来满足跨上下文检索的需求。该知识图将信息表示为互连实体和关系的网络，与简单的文本片段相比，提供了更丰富的数据表示。这种结构化表示使 GraphRAG 能够擅长回答需要推理和连接不同信息的复杂问题。具体来看，GraphRAG 定义了一个标准化数据模型，整体框架由几个关键组件组成，分别用于表示文档、TextUnit、实体、关系和社区报告等实体。像传统RAG一样，GraphRAG 过程也涉及两个主要阶段：索引和查询。我们依次展开来进行讨论。
2025-02-07 18:25:43
944
原创 RAG的原理及代码实战（2）pipeline介绍
需要注意的是，在RAG检索时，所有切分的文本，不管其长度是多少，都会转换为一个词向量，也就是每一个切片是一个词向量表示。如果不方便注册openai模型时，可以考虑使用国内在线词向量模型，当然也可以使用ollama等工具部署本地的词向量模型。相似度计算是指使用查询向量在嵌入模型生成的向量空间中检索与问题最相关的文本块。有了向量表示后，需要使用向量来计算不同向量之间的相似度，计算的方法有很多，这里以余弦相似度为例来介绍。这里以硅基流动的在线模型为例，需要的也可以注册使用。编写获取向量之间相似度计算的函数。
2025-02-07 14:59:31
596
原创 RAG的原理及代码实战（1）基本原理
数据准备支持多种格式的数据，包括 PDF、TXT、Word（DOC）和 Markdown（MD）文件。这些文件是知识的来源。切分（Chunking）将这些文件中的内容进行切分，将大段的文本切割成较小的、易于处理的块。这些块将作为后续步骤的基础。Embedding Model（嵌入模型）使用嵌入模型将切分后的文本块转换为向量表示。这些向量能够在高维空间中表示文本的语义信息。查询向量（Query Vector）用户提出问题，这个问题同样通过嵌入模型转换为查询向量。
2025-02-05 16:48:26
1081
原创 13、Ollama OCR
Ollama OCR，是一个强大的OCR（光学字符识别）工具包。利用 Ollama 的先进视觉语言模型从图像中提取文本，可作为 Python 包和 Streamlit 网络应用程序使用。具有支持多种视觉模型、多种输出格式、批量处理、图像预处理等功能。还介绍了安装方法、快速入门示例、输出格式细节以及 Streamlit 网络应用程序的特点。
2025-01-06 16:04:47
1255
原创 ImportError: /lib64/libstdc++.so.6: version `GLIBCXX_3.4.30‘ not found (required by /root/miniconda3
报错展示缺少所需的GLIBCXX_3.4.30版本的GLIBCXX，下面是解决的办法。
2024-11-18 15:08:47
796
2
原创 麒麟系统安装显卡驱动
系统中有一块 NVIDIA 显卡，型号为 GA100GL（A30 PCIe），设备 ID 为 [10de:20b7]。如果显示了 NVIDIA GPU 信息，则说明驱动安装成功。根据 NVIDIA 显卡，型号为。下载了 NVIDIA 驱动的。使用yum命令清除缓存。使用yum命令安装驱动。
2024-10-24 16:30:00
5321
原创 12、xinference部署与自定义模型
官网：https://inference.readthedocs.io/zh-cn/latest/getting_started/installation.html。在xinference界面选择注册模型–>embedding模型，根据实际的参数进行填写，主要是路径要写对。记住下载文件的路径，可以在代码中进行设置自定义的路径。下载一个本地的模型，可以在魔塔社区进行下载。我们以embedding模型为例测试。安装后重新注册并launch。如果报错，需要去安装依赖包。
2024-09-12 15:29:03
2334
原创 11、LLaMA-Factory自定义数据集微调
针对实际的微调需求，使用专门针对业务垂直领域的私有数据进行大模型微调才是我们需要做的。因此，我们需要探讨如何在LLaMA-Factory项目及上述创建的微调流程中引入自定义数据集进行微调。alpaca和sharegpt。
2024-09-06 15:05:00
10018
7
原创 10、ollama启动LLama_Factory微调大模型（llama.cpp）
在介绍了如何使用LLama_Factory微调大模型，并将微调后的模型文件合并导出，本节我们我们看下如何使用ollama进行调用。
2024-08-30 11:14:29
2774
2
原创 9、LLaMA-Factory项目微调介绍
LLaMA Factory是一个在GitHub上开源的项目，该项目给自身的定位是：提供一个易于使用的大语言模型（LLM）微调框架，支持LLaMA、Baichuan、Qwen、ChatGLM等架构的大模型。更细致的看，该项目提供了从预训练、指令微调到RLHF阶段的开源微调解决方案。截止目前（2024年3月1日）支持约120+种不同的模型和内置了60+的数据集，同时封装出了非常高效和易用的开发者使用方法。
2024-08-28 16:26:17
2327
4
原创 GLM-4-9B 支持 Ollama 部署
它提供了一个简单而高效的接口，用于创建、运行和管理这些模型，同时还提供了一个丰富的预构建模型库，可以轻松集成到各种应用程序中。通过Ollama，用户可以方便地部署和运行GLM-4-9B 等开源的大语言模型。此外，Ollama还提供了包括网页、桌面应用和终端界面在内的多种互动方式，方便用户使用和管理这些模型。在语义、数学、推理、代码和知识等多方面的数据集测评中， GLM-4-9B 在各项能力上均表现出卓越的能力。该模型是在 GLM-4-9B 基础上持续训练的多语言代码生成模型，显著提升了代码生成能力。
2024-07-12 11:06:41
1384
原创 linux安装Miniconda
每次打开terminal时自动激活base环境。Miniconda官网下载。将下载的文件上传到服务器。查看anaconda信息。按照提示一路向下，内容。成功激活base环境。
2024-07-11 15:18:31
429
原创 8、Windows 部署ollama
一个本地运行大模型的集成框架，目前主要针对主流的LLaMA架构的开源大模型设计，通过将模型权重、配置文件和必要数据封装进由Modelfile定义的包中，从而实现大模型的下载、启动和本地运行的自动化部署及推理流程。此外，Ollama内置了一系列针对大模型运行和推理的优化策略，目前作为一个非常热门的大模型托管平台，已被包括LangChain、Taskweaver等在内的多个热门项目高度集成。
2024-07-10 13:53:41
767
原创 《Attention Is All You Need》解读
是一篇由Ashish Vaswani等人在2017年发表的论文，它在自然语言处理领域引入了一种新的架构——Transformer。这个架构现在被广泛应用于各种任务，如机器翻译、文本摘要、问答系统等。Transformer模型的核心是“自注意力”（self-attention）机制，这一机制能够有效捕捉文本序列中的长距离依赖关系。
2024-07-04 17:07:39
3617
原创 seq2seq+Attention机制原理介绍
Attention机制是一项先进技术，用于增强基于循环神经网络（RNN）、长短时记忆网络（LSTM）和门控循环单元（GRU）的编码器-解码器模型性能。它通常被称作Attention Mechanism，在深度学习领域非常流行，广泛应用于机器翻译、语音识别、图像标注等多个领域。Attention机制的作用与流行原因通过为序列中每个元素分配不同权重，Attention机制增强了模型的信息区分和识别能力。这种权重分配让模型更灵活地学习，尤其是在处理句子中每个词时，能根据其对翻译或识别结果的重要性进行调整。
2024-07-03 16:50:12
983
原创 seq2seq原理介绍
Seq2Seq模型，即序列到序列模型，是一种深度学习架构，它能够接收一个序列作为输入，并通过特定的生成方法生成另一个序列作为输出。这种模型的一个关键特点是，输入序列和输出序列的长度可以是不同的，从而解决了传统循环神经网络（RNN）在处理不等长序列时的限制。Seq2Seq模型通常采用编码器-解码器（Encoder-Decoder）结构，这也是其另一个常用的名称。在这个结构中，编码器负责将输入序列编码成一个固定长度的向量，这个向量捕捉了输入序列的语义信息。然后，解码器利用这个向量来生成输出序列。
2024-06-28 10:18:46
1242
原创 Bert基础(二十二)--Bert实战：对话机器人
生成式对话机器人是一种能够通过自然语言交互来理解和生成响应的人工智能系统。它们能够进行开放域的对话，即在对话过程中，机器人可以根据用户的需求和上下文信息，自主地生成新的、连贯的回复，而不仅仅是简单地检索或匹配预先设定好的答案。生成式对话机器人是一种强大的AI工具，它们能够与人类进行自然的语言交流，并在各种场景下提供帮助和服务。随着技术的不断进步，生成式对话机器人的应用范围还在不断扩大，未来它们将在更多领域发挥重要作用。因果语言模型。
2024-05-11 16:35:37
593
原创 Bert基础(二十一)--Bert实战：文本摘要
文本摘要（Text Summarization），作为自然语言处理（NLP）领域的一个分支，其核心目标是从长篇文档中提取关键信息，并生成简短的摘要，以提供对原始内容的高度概括。这一过程不仅有助于用户迅速把握信息的核心，而且对于有效组织和归纳大量的文本数据至关重要。文本摘要的任务可以根据不同的输入和输出进行分类。首先，根据输入文档的数量，可以将摘要任务分为单文档摘要和多文档摘要。单文档摘要专注于处理单个文档，而多文档摘要则需要整合多个相关文档的信息。
2024-04-30 14:54:33
1900
原创 Bert基础(二十)--Bert实战：机器阅读理解任务
也就是Tanoue在原始文本中占一个字符，但是分词后，它占了三个，所以我们在定位答案的起始位置时需要根据一个字符进行定位，但是我们训练处理的时候时使用编码后的input_ids，所以我们就必须把offsets_mapping和原始的内容匹配好才能根据起始位置找到真正的答案。同时答案可能同时出现了多个窗口，因为有数据的重复，而且相似的答案也可能会出现在不同的位置，所以我们后面处理的时候需要进行对比。：北京是中国的首都，它是一座历史悠久的城市，有着丰富的文化遗产和现代化的城市景观。
2024-04-29 15:22:57
2282
原创 Bert基础(十九)--Bert实战：文本相似度匹配
文本匹配是指计算机系统识别和确定两段文本之间关系的任务。这个概念非常广泛，涵盖了各种场景，其中文本之间的关系可以是有相似度、问答、对话、推理等。在不同的应用场景下，文本匹配的具体定义可能会有所不同。本次先介绍最简单的文本相似度计算的任务，后面将其他的信息检索、机器翻译、文本生成、对话系统等任务进行实战。基本步骤：fill:#333;color:#333;color:#333;fill:none;1 加载数据集2 数据预处理3 创建模型4 创建评估函数5 创建训练器6 训练模型7 评估。
2024-04-29 10:04:47
1997
原创 Bert基础(十八)--Bert实战：NER命名实体识别
命名实体识别（NER）是自然语言处理（NLP）中的一项关键技术，它的目标是从文本中识别出具有特定意义或指代性强的实体，并对这些实体进行分类。这些实体通常包括人名、地名、组织机构名、日期、时间、专有名词等。NER在许多实际应用中都非常重要，如信息提取、文本挖掘、机器翻译、自动摘要等。实体的边界识别：这部分任务是要确定文本中实体的起始和结束位置，即在文本中准确地定位出实体的边界。确定实体的类型：在识别出实体的边界之后，还需要确定每个实体的具体类型，如人名、地名、机构名等。例如，在处理文本。
2024-04-24 11:03:39
2703
原创 Bert基础(十七)--Bert实战：中文情感识别
说了中文分类的过程，这次说一下情感分类相关的代码，其实情感分类也属于中文多分类的一种，知识情感分类一般会专门区分出来，但是代码基本是一致的，基本步骤：fill:#333;color:#333;color:#333;fill:none;1 加载数据集2 数据预处理3 创建模型4 创建评估函数5 创建训练器6 训练模型7 评估8 预测。
2024-04-24 09:22:23
1461
原创 Bert基础(十六)--Bert实战：中文文本分类任务-- transformers库实现
Hugging Face 的 Transformers 库是一个开源库，它提供了大量预训练的模型，用于自然语言处理（NLP）任务，如文本分类、命名实体识别、机器翻译、问答系统等。这个库的特点是易于使用，支持多种模型架构，包括但不限于 BERT、GPT、RoBERTa、XLNet 等，并且可以轻松地在不同的任务上微调这些模型。以下是使用 Hugging Face Transformers 库进行情感分类的基本步骤：fill:#333;color:#333;color:#333;fill:none;
2024-04-19 11:31:50
3047
原创 Bert基础(十三)--Bert变体之知识蒸馏训练
请注意，我们是将特定任务的知识从教师迁移给学生，因此，要先针对特定任务微调预训练的BERT-large模型，然后将其作为教师。因此，在进行蒸馏时，也就是在将知识从教师（BERT-base模型）迁移到学生（TinyBERT模型）时，我们使用相同的数据集。这里，我们使用大型的预训练BERT模型（BERT-base模型）作为教师，并通过蒸馏将知识迁移到小型的学生BERT模型（TinyBERT模型）。我们将特定任务的知识从教师迁移给学生，因此，如前所述，将采用为特定任务微调后的预训练的BERT模型作为教师。
2024-04-19 09:20:55
863
原创 白话transformer（六）编码器与解码器
今天我们将探讨Transformer模型中的两个核心组件：编码器和解码器。我们将通过一个具体的任务——将中文算术表达式翻译成英文——来深入理解这两个组件的工作原理。transform的原始论文中，整体的架构是有编码器和解码器组成的，但是根据任务不同，有的只需要编码器，比如Bert；有的只需要使用解码器，比如GPT系列模型；还有的是需要编码器和解码器都使用的，比如机器翻译任务。
2024-04-15 09:22:42
1615
原创 Bert基础(十二)--Bert变体之知识蒸馏原理解读
知识蒸馏(knowledge distillation)是一种模型压缩技术，它是指训练一个小模型来重现大型预训练模型的行为。知识蒸馏也被称为师生学习，其中大型预训练模型是教师，小模型是学生。让我们通过一个例子来了解知识蒸馏是如何实现的。假设预先训练了一个大模型来预测句子中的下一个单词。我们将大型预训练模型称为教师网络。我们输入一个句子，让网络预测句子中的下一个单词。它将返回词表中所有单词是下一个单词的概率分布，如图所示。为了更好地理解，我们假设词表中只有5个单词。
2024-04-03 15:34:21
1136
原创 Bert基础(十一)--Bert变体之ELECTRA
ELECTRA（Efficiently Learning an Encoder that Classifies Token Replacements Accurately，高效训练编码器准确分类替换标记）是BERT的另一个变体。我们已知要使用掩码语言模型构建任务和下句预测任务对BERT进行预训练。在掩码语言模型构建任务中，我们随机掩盖15%的标记，并训练BERT来预测被掩盖的标记。但是，ELECTRA没有使用掩码语言模型构建任务作为预训练目标，而是使用一个叫作替换标记检测的任务进行预训练。
2024-04-03 09:24:49
902
原创 Bert基础(十)--Bert变体之RoBERTa
RoBERTa是BERT的另一个有趣且流行的变体。研究人员发现，BERT的训练远未收敛，所以他们提出了几种对BERT模型预训练的方法。RoBERTa本质上是BERT，它只是在预训练中有以下变化。
2024-04-02 09:27:23
1117
原创 Bert基础(九)--Bert变体之ALBERT
在接下来的几篇，我们将了解BERT的不同变体，包括ALBERT、RoBERTa、ELECTRA和SpanBERT。我们将首先了解ALBERT。ALBERT的英文全称为A Lite version of BERT，意思是BERT模型的精简版。ALBERT模型对BERT的架构做了一些改变，以尽量缩短训练时间。本章将详细介绍ALBERT的工作原理及其与BERT的不同之处。
2024-04-01 15:26:48
1503
原创 7、Qwen-7B 部署实践
Qwen（通义千问）由阿里云团队研发，其训练数据覆盖多语言，但主要以中文和英文为主。Qwen的系列模型主要有两类，一类是基座模型Qwen，所谓基座模型，指的是在海量的数据集上进行预训练，这些数据集可能包含了广泛的主题、语境和样式，使得基座模型能够捕捉到丰富的语言特征和通用知识。另外一类是Chat类模型，是利用SFT和RLHF技术实现对齐，从基座模型训练得到对话模型。目前开源模型的参数规模为18亿（1.8B）、70亿（7B）、140亿（14B）和720亿（72B）。
2024-04-01 11:09:45
4324
原创 6、ChatGLM3-6B 部署实践
ChatGLM3 是智谱AI和清华大学 KEG 实验室在2023年10月27日联合发布的新一代对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，免费下载，免费的商业化使用。性能层面，ChatGLM3-6B在10B范围内性能最强，推理能力直逼GPT-3.5；功能层面，ChatGLM3-6B重磅更新多模态功能、代码解释器功能、联网功能以及Agent优化功能四项核心功能，全线逼近GPT-4！
2024-03-27 11:00:21
1628
原创 Bert基础(八)--Bert实战之理解Bert微调
到目前为止，我们已经介绍了如何使用预训练的BERT模型。现在，我们将学习如何针对下游任务微调预训练的BERT模型。需要注意的是，微调并非需要我们从头开始训练BERT模型，而是使用预训练的BERT模型，并根据任务需要更新模型的权重。在本节中，我们将学习如何为以下任务微调预训练的BERT模型。
2024-03-26 13:38:30
2150
原创 Bert基础(七)--Bert实战之理解Bert模型结构
在篇我们将详细学习如何使用预训练的BERT模型。首先，我们将了解谷歌对外公开的预训练的BERT模型的不同配置。然后，我们将学习如何使用预训练的BERT模型作为特征提取器。此外，我们还将探究Hugging Face的Transformers库，学习如何使用Transformers库从预训练的BERT模型中提取嵌入。接着，我们将了解如何从BERT的编码器层中提取嵌入，并学习如何为下游任务微调预训练的BERT模型。
2024-03-26 09:21:52
1456
Attention Is All You Need论文
2024-07-04
diabetes_train.txt
2020-05-08
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人