- 博客(46)
- 收藏
- 关注
RSS订阅原创 注意力机制与Transformer
Seq2Seq引入了教师机制，在教师强制模式下，解码器在计算第 t 步的输出时，它的输入不再是上一时刻的预测值 ，而是直接使用数据集中真实的标签值 ，构造方式就是我们前面描述的“解码器输入”序列。Seq2Seq相较于Autoencoder而言，存在不同，因为Autoencoder希望尽量得到的输出结果和输入相似，从而去噪、降维、升维的任务，无法处理变长序列的问题，而Seq2Seq能够做到，Autoencoder是一次就生成，而Seq2Seq是逐次生成。Seq2Seq的原理是基于Autoencoder的。
2026-04-15 23:54:37
245
原创 Bert解读
正向LSTM主要获取的是过去的数据信息，反向LSTM主要获取的是未来的数据信息，最终将正向和反向获取的数据信息，进行加权合并等方式，是最终的向量既包含过去信息又包含未来信息。首先，在Bert模型之前存在的BiLSTM来进行上下文的理解。1.为什么Bert会存在？从而在之后引入了Bert。
2026-04-01 00:18:22
82
原创 RNN解读
RNN（循环神经网络）之所以叫“循环”，是因为它在处理序列数据（如句子、时间序列）时，有一个**隐藏状态（Hidden State,ht）**在时间步之间传递。
2026-03-23 23:56:59
465
原创 分词、词嵌入
是因为“清华大学”、“通知书”等词在词典中已有较稳定的统计信息。反过来，精确模式的核心仍然是“基于词典找最优路径”。一旦遇到词典里没有收录的新词（例如“奔波儿灞”），就容易被拆成更小的片段，出现不符合预期的切分。这时，基于词典的分词方法的优势就体现出来了。我们可以进行人工干预，通过自定义词典把新词加入词表，“教会”jieba认识它。进行词元分析之后，我们得到了最基本的词元，但是我们之后需要将这些传入给模型，让模型理解这些数据之后进行训练，所以说我们要将词元转换为计算机能读懂的语言。
2026-03-22 00:15:52
76
原创 Ascend LlamaFactory微调书生模型
从推理结果看和源模型的输出有所区别了，那就说明微调完成了。微调完成之后可以将微调的权重和原始的模型合并导出。创建dataset_info.json文件。dataset_info.json文件。3.微调前的原模型效果呈现。动态合并LoRA的微调。
2026-01-12 00:42:08
313
原创 Ascend NPU vLLM 部署微调Intern-S1-mini
将下面的代码放入infer.py文件中，运行infer.py文件。convert.py文件的作用将相对路径转化为绝对路径。之后就可以在modelscope看到自己上传的模型。3.安装vllm和vllm-ascend。3. Intern-S1-mini 微调。将数据集的相对路径转化为绝对路径。4.设置昇腾相关环境变量。执行convert.py。1.准备conda环境。5.下载模型所需的依赖。之后进行模型的合并权重。模型合并补全模型的文件。7.启动vLLM服务。
2026-01-11 00:55:23
373
原创 L2 OpenCompass 评测书生大模型实践
修改模型配置文件VLMEvalKit/vlmeval/config.py。将其中的api-key换为你的api-key， 之后运行代码。将其中的api-key改为你的api-key之后运行代码。5.使用Intern-s1评测自建数据集进行。之后进行opencompass目录下运行文件。3.下载评测的opencompass数据集。1.创建虚拟环境并且进入虚拟环境。4.建立测试文件检测能否运行评测。2.从github仓库导入项目。是A榜测试数据,将其放在。建立评测自建数据集的代码。6.运行MME数据集。
2025-12-13 15:03:05
257
原创 DPO数学原理
xxx：输入提示（prompt）yposypos：被偏好（优选）的输出（如人类标注的更优回答）ynegyneg：被拒绝的输出（如人类标注的较差回答）πθπθ：当前待优化的策略模型（通常是语言模型的 logits）πrefπref：参考模型（通常是 SFT 后的基线模型，固定不更新σ⋅σ⋅：Sigmoid 函数σz11e−zσz1e−z1β\betaβ：温度超参数（控制优化强度）
2025-10-17 21:56:03
781
原创 Post-training of LLMs
然后，在给定的标注数据集上进行微调。与一般的微调方法类似，SFT的目标是通过引入任务特定的监督信号（例如标签或目标输出），让模型在目标任务上进一步优化。它的基本思想是基于已经预训练好的模型，在特定任务上利用标注数据进行监督学习，从而进一步优化模型的表现。然而，Offline RL也面临分布偏移问题，即训练数据的分布可能与实际应用中的分布不一致，这需要通过保守策略优化等方法缓解。两者的区别在于数据来源和使用方式的不同。Online RL依赖实时生成的数据，而Offline RL则利用已有的历史数据。
2025-10-13 22:25:32
679
原创 书生浦语实战营第六期 L1-G3000
指定工具调用（Function Calling）的解析器。: 设置模型能处理的最大会话长度（以 token 为单位）。: 设置 KV 缓存所能占用的 GPU 显存比例。: 设置动态批处理的最大批次大小。: 指定推理后端引擎。
2025-10-06 15:03:29
333
原创 书生浦语实战营L1-G4000探索大模型能力边界
完成 10 次有效投票闯关成功（语言和多模态各5次），请保持 OpenCompass 用户中心的 ID 和 InternStudio ID 一致，才能确保算力能正确发放。
2025-10-05 22:29:00
251
原创 书生浦语第六期 L1-G2000
MCP（Model Control Protocol）是一种专为 AI 设计的协议（类别 USB-C接口转换器），其核心作用是。得到对应的apikey之后保存，API Token 只能复制一次，生成后请妥善保管。：具备完整的文件创建、读取、修改和删除能力，实现一个命令行版本的 cursor。基本要求：获取书生 apikey 成功调用文本生成截图，天气服务运行成功截图。在vscode模式下进入.env文件输入你的apikey。1.获取书生浦语大模型对应的apikey；：MCP 文件操作服务的路径。
2025-10-05 21:58:46
481
原创 书生浦语实战营第六期L1-G1000
1.在 https://chat.intern-ai.org.cn/ 平台中实践提示词技巧，与 Intern-S1 完成 10 次对话记录在飞书文档中，并仔细阅读 Intern-S1 技术报告撰写笔记提交问卷。2.Intern-S1 集成了时间序列编码器，以更好地处理顺序数值数据，其中每个元素通常代表随 时间记录的测量值，例如地震波、引力波、天文物体的光变曲线以及脑电图（EEG）记录。虽然使用动态分词器可以缓解这两方面的问题，但是因为分割策略可能对 微小的上下文变化敏感的问题。
2025-10-05 18:51:40
246
原创 Datawhale 组队学习--RAG技术全栈指南
RAG（Retrieval-Augmented Generation）是一种融合信息检索与文本生成的技术范式。其核心逻辑是：在大型语言模型（LLM）生成文本前，先通过检索机制从外部知识库中动态获取相关信息，并将检索结果融入生成过程，从而提升输出的准确性和时效性。RAG本质：在LLM生成文本之前，先从外部知识库中检索相关信息，作为上下文辅助生成更准确的回答。
2025-08-19 00:22:57
909
原创 Datawhale AI夏令营 「2025全球AI攻防挑战赛-赛道一：图片全要素交互认证-生成赛」的赛事项目实践
这次比赛是：「本次比赛的挑战在于，需要利用不同的模型和算法，生成高度逼真的AI伪造图片。：模型的挑战在于如何准确理解复杂的文本描述（Prompt），并生成出既美观又真实的图片。：编辑后的内容需要与原图在光影、透视和纹理上完美融合，不留痕迹。：修改后的文字必须与原图中的文字在字体、大小、光影、背景融合度等方面保持高度一致，这要求模型具备强大的文字渲染与融合能力。：需要将源人脸的身份特征自然地迁移到目标人脸的表情、姿态和光照环境中，避免出现不自然的面部边缘或肤色差异。
2025-08-13 23:48:08
864
原创 Datawhale AI 夏令营——全球AI攻防挑战赛（AIGC技术-图像方向）
随着AI图片生成技术爆发式发展，金融诈骗、虚假新闻、身份冒用等安全问题正悄然入侵生活。既要用AI生成逼真图像挑战安全极限，更要打造能识破伪造的"火眼金睛"。这不仅是技术对抗，更是守护数字世界信任基石的使命！
2025-08-10 20:14:15
349
原创 书生浦语第五期-L1G4-InternLM 论文分类微调实践（XTuner 版）
一句话介绍XTuner：XTuner 是一个高效、灵活、全能的轻量化大模型微调工具库。核心特点：高效：支持在有限资源下微调大模型，如在8GB显存上微调7B参数模型，也支持多节点微调70B+模型；自动分发高性能算子加速训练；兼容DeepSpeed优化策略。灵活：支持多种大语言模型（如InternLM、Llama、ChatGLM等）和多模态模型；支持多种数据格式；支持QLoRA、LoRA、全量参数微调等多种微调算法。全能：支持增量预训练、指令微调与Agent微调；预定义多种对话模板；
2025-08-09 15:43:43
580
原创 书生浦语第五期-L1G3-LMDeploy 课程
LMDeploy在服务启动时就会预先一次性分配KV cache空间，如果加载模型出现OOM，可能需要考虑降低 cache_max_entry_count 的值，表示加载模型权重后 K/V 缓存占用的空闲 GPU 内存的比例。由于需要维护k个序列，开销比较大。例如例图的Top_p=0.8，也就是模型关于下一个词的预测是将关于下一个词的预测概率中从大到小求和，看计算哪个词时之和大于或等于0.8，之后根据这些词来随机采样。比较敏感，生成的结果更关注高频词，多样性丢失，可能会导致生成的回复过于简单，趋同性高；
2025-08-08 22:54:56
897
原创 书生浦语第五期-L1G2-OpenCompass 评测书生大模型实践
除了通过命令行配置实验外，OpenCompass 还允许用户在配置文件中编写实验的完整配置脚本，并通过 run.py 直接运行它。文件中设置在 VLMEvalKit 中支持的 VLM 名称，以及模型路径。进入opencompass的data文件夹可以看到里面包含的数据集。之后回到opencompass文件夹下，运行run.py。之后就可以回到opencompass文件夹运行文件。将InternVL3-2B模型的位置修改为本地路径。运行以下代码，在configs文件夹下创建。C-Eval 选择题。
2025-08-07 18:49:43
356
原创 书生浦语第五期-L1G1-玩转书生大模型 API 之 Browser-Use 实践过程记录
首先我们新建一个Internlm文件夹，并用vscode打开，启动终端。接着输入以下命令来创建项目环境并进入。这里我们使用uv进行项目环境管理。直接使用Python自带的。
2025-08-02 18:41:39
325
原创 书生浦语第五期L0G2
在 https://opencompass.org.cn/arena 中和不同模型对话探索大模型的能力边界，尝试问问模型知识、数学、code 等不同领域的问题，完成 10 次有效投票闯关成功（语言和多模态各5次）。
2025-08-01 17:59:40
153
原创 Datawhale AI夏令营--模型蒸馏
LoRA 使用 A \mathbf{A}A 和 B \mathbf{B}B 两个与原模型并行的低秩矩阵来代替原本的增量权重矩阵 Δ W \mathbf{\Delta W}ΔW，从而可以在保证模型性能的同时，有效降低需要训练的参数量。灵活易用：针对不同的下游任务，用户可以训练不同的 LoRA，并且在微调完成后，只需要保存新增的这一部分权重（不同任务间共享预训练模型的权重），相比于存储整个模型的权重，只需要极少的内存。（初始化为零），r rr 为矩阵 Δ W \mathbf{\Delta W}ΔW 的秩。
2025-07-26 23:23:56
777
原创 书生浦语第四期OpenCompass
安装好必需的依赖：配置好依赖之后，我们就需要模型来进行评测；这里我们选用的是internLM模型，使用反式是利用API来进行。首先我们要获取模型对应的API_Key，我们要先进入按照图中来操作就可以获取到API_Key；之后就可以在终端输入代码，来设置你的API_Key，之后再利用下面一行来检测是否设置好了。配置模型文件对应的模型文件代码配置好模型文件之后，来配置数据集文件对应数据集文件的代码之后就可以在终端运行文件在运行文件的时候可能会报错，
2025-01-09 15:18:52
390
原创 书生浦语第四期XTuner微调
同时可以通过代码来检测生成的数据文件是否正确，这是检测前三行的数据。脚本来观察微调后的对话效果，要修改模型的路径。生成好之后在finetune下的数据文件。配置好对应的参数文件之后就可以开始微调了。最后的"***"填写你ssh连接的端口号。复制官方的参数文件并修改对应的参数文件。修改参数文件中的模型地址和参数文件地址。首先创建一个数据文件夹存储微调数据。修改之后运行脚本文件生成微调数据。结束之后保存微调之后的权重文件。创建之后准备脚本文件生成数据。3.准备需要修改的数据文件。模型在webUI对话。
2025-01-08 10:00:00
285
原创 书生浦语第四期llama_index
下载好模型之后，我们在使用开源词向量模型构建开源词向量的时候，需要用到第三方库nltk的一些资源。1.大模型对于自己不知道的知识，会生成和现实完全不符的回答，这种现象被称为幻觉；所以面对上面大模型存在的问题，通常的解决办法是RAG(检索增强生成)和微调。对于大模型而言，RAG不会更新其中的权重，而微调是会更新大模型的权重的。之后我们运行这个python文件，得到的效果显示模型不包含这部分的知识。2.对于每次更新大模型的新知识的引入和训练，需要大量的资源和时间；对于当前的大模型的应用而言，存在哪些问题？
2025-01-06 16:00:13
502
原创 书生浦语第四期提示词工程
1.描述清晰；2.角色扮演，角色扮演在不同的模型中效果可能不明显，需要批判的去使用。3.提供示例，当我们的任务是和仿写句子等相关的时，可以提供示例来提升生成的质量。4.复杂任务的分解：思维链CoT，CoT的核心思想是让大模型一步步思考，通常使用思维链是在提示词之中加上“请一步步思考”或者“给出你的推理过程”。将复杂任务分解为简单任务，与之相同的是工作流，手动设置分解为简单任务。5.使用格式符区分语义，推荐使用markdown语法。6.给出情感和物质激励。7.使用更专业的术语。
2025-01-05 17:50:49
476
原创 书生浦语第四期开源体系
作为一个简单的了解和使用可以用1.8B的模型，而在日常使用的过程中7B效果不错，通过20B可以明显的体验出模型的涌现能力。在视觉方面的模型是InternLM-XComposer灵笔， 在数学方面的模型是InternLM-Math， 在一些科研方面的模型是InternLM-WQX。数据方面：书生万卷，开源了很多的子领域的语料库，可以去书生万卷的官网去下载；微调：XTuner支持多种微调算法，同时数据方面做到了格式的统一，方便微调。微调方面：XTuner日常进行微调，支持多种微调和对齐算法；
2025-01-04 16:58:16
360
原创 书生浦语第四期L0HF任务
复制得到的Access Tokens，在codespaces中设置huggingface的Access Tokens。下载InternLM_7b的config.json和model.safetensors.index.json。之后根据自己的需求选择token type，这里选择的Write权限。将其中的user_name、token和repo_path更改即可。遇到这种错误是因为在HF中设置Access Tokens。在HF界面点击右上角选择Access Tokens。git 提交到远程仓库。
2024-11-07 02:38:53
422
原创 书生浦语第四期L0Git任务
之后就可以在InternLM/Tutorial看到Pull Requests。将仓库clone到Intern studio上。
2024-11-06 20:43:21
249
原创 书生浦语第四期L0python任务
通过调试发现是json的格式出现错误，最后使用上面的代码进行json格式修正成功运行。在运行示例代码之后出现的报错，
2024-11-04 16:49:25
358
原创 书生浦语第四期L0linux任务
(symbolic link)，硬链接的意思是一个档案可以有多个名称，而软链接的方式则是产生一个特殊的档案，该档案的内容是指向另一个档案的位置。硬链接是存在同一个文件系统中，而软链接却可以跨越不同的文件系统。在配置SSH密钥的时候，使用Windows PowerShell来进行操作。SSH连接，配置SSH密钥进行SSH远程连接；之后一直回车就好，这里的密钥默认情况下是生成在。touch 可以使用touch快速的创建文件，表示的是家目录，如果是windows就是。新建或者打开名为test.txt的文件。
2024-11-04 01:32:22
415
原创 task_03扣子工作流
工作流，起源于生产组织和办公自动化领域，是指在计算机应用环境下，对业务过程的部分或整体进行自动化处理。它通过将复杂的任务分解成定义良好的任务或角色（节点），并按照一定的规则和过程来执行这些步骤中的任务，从而降低系统复杂度，减少对提示词技术和模型推理能力的依赖，提高 LLM 应用在复杂任务中的性能，提升系统的可解释性、稳定性和容错性。
2024-10-19 18:03:08
4946
1
原创 书生浦语训练营第三期--OpenCompass评测
进入configs文件夹来引入所需的数据集和模型配置，并以所需要的格式组成datasets和models字段，通过上面代码在configs文件夹下创建eval_tutorial_demo.py，在其中继承数据集合模型配置。opencompass文件夹下configs/models/hf_internlm/的hf_internlm2_chat1_8b.py中写入以下代码。配置：需要配置整个评估过程，选择与模型相应的数据集、评估策略和计算后端等，最后定义显示结果的方式；配置好之后，就可以进行评测了。
2024-08-22 02:35:18
367
原创 书生浦语训练营第三期--XTuner微调
要通过指令跟随微调，来让模型输出我们想要的效果，对于微调而言，最初要构造合适的数据集，因为想要让模型能得到合适的认知，所以在数据集中要大量加入这样的数据。进入微调目录下，启动微调，微调之后，要先保存最后一个pth文件，之后要进行模型格式转换将pytorch权重文件转换为通用的HuggingFace格式文件。选用好合适的匹配文件之后，就是对配置文件进行修改，将模型的路径和数据集的路径修改为我们的路径等。full和qlora是指微调的算法，full是指全量微调，qlora是指量化的lora。
2024-08-22 01:56:19
862
原创 书生浦语训练营第三期--llamaindex-RAG
下载好模型之后，我们在使用开源词向量模型构建开源词向量的时候，需要用到第三方库nltk的一些资源。基于RAG的原理，我们是将知识转化为向量来存入知识库的，所以我们来安装llamaindex所需要的依赖。1.大模型对于自己不知道的知识，会生成和现实完全不符的回答，这种现象被称为幻觉；对于大模型而言，RAG不会更新其中的权重，而微调是会更新大模型的权重的。2.对于每次更新大模型的新知识的引入和训练，需要大量的资源和时间；构建好我们需要的开源词向量之后，我们需要将运行的大模型软连接出来。
2024-08-19 20:10:16
336
原创 书生浦语实战营第三期
安装好之后，我们运行如下代码使用 LMDeploy 启动一个与 InternLM-XComposer2-VL-1.8B 模型交互的 Gradio 服务。ssh -CNg -L 6006:127.0.0.1:6006 root@ssh.intern-ai.org.cn -p 你的 ssh 端口号。第五步利用LMDeploy来部署 InternLM-XComposer2-VL-1.8B 模型。第四步在web_demo中部署 InternLM2-Chat-1.8B 模型。首先激活环境和安装依赖。
2024-08-14 04:13:24
726
原创 书生浦语大模型实战营
对于第三点基于反馈地数据生成中重点是数据的标注，现在OpenDataLab中开源了LabLLM可以利用这个工具来进行数据的标注（可以在NLP任务中使用）。书生浦语开源全链条：书生万卷、InternEvo、XTuner、LMDeploy、OpenCompass、应用demo。在大语言模型的发展过程中核心的思想是对数据质量不断地提升和利用辅助标注来得到对齐数据来迭代大语言模型。应用demo--MinerU（高效文档解析工具）、MindSearch（搜索应用）部署--LMDeploy：支持的开源大模型更多。
2024-08-13 02:30:54
437
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人