nuc的救赎-优快云博客

原创 RNA领域预训练语言模型-最全综述

直观地说，该工作流程以自回归方式简化了大组基因表达的生成，其中首先生成具有最高预测置信度的基因表达，并用于帮助后续轮次生成。所示，在训练过程中，我们随机选择基因的比例为未知，因此在输入中省略了它们的表达值。都会预测一组新基因的基因表达值，这些基因反过来又成为下一次迭代中的 “已知基因”，用于注意力计算。与句子中的单词不同，细胞内的基因顺序是可以互换的，并且没有等效的 “在训练过程中，模型逐渐学会了通过其他基因的表达情况，去建模需要预测的基因真实的表达值，从而优雅地处理了。可以处理最多1022个标记的序列。

2025-03-24 08:48:04 2528 3

原创 transformer goole2017提出

1、扩展了模型专注于不同位置的能力。2、有多个WQ、K、V矩阵集合，（Transformer使用八个注意力头）并且每一个都是随机初始化的。和上边一样，用矩阵input乘以WQ、WK、WV来产生查询、键、值矩阵。3、self-attention只是使用了一组WQ、WK、WV来进行变换得到查询、键、值矩阵，而Multi-Head Attention使用多组WQ，WK，WV得到多组查询、键、值矩阵，然后每组分别计算得到一个Z矩阵。得到拼接的Z后再经过一个mlp得到合并的Z就行了。

2025-03-22 10:54:26 990

原创 linux基础超级笔记

useradd [-g -d] username：创建用户。-g指定用户的组，不指定-g，会创建同名组并自动加入，指定-g需要组已经存在，如已存在同名组，必须使用-g。-d指定用户H0ME路径，不指定，HOME目录默认在:/home/用户名。rm [-r -f] p1 p2 p3...：删文件，-r表示删除文件夹，支持多个参数。-r，删除用户的HOME目录，不使用-r，删除用户时，HOME目录保留。mv：移动文件/夹，改名字。tail [-f -num] path：查看文件尾部内容，默认查看10行。

2024-10-05 19:55:09 4488 1

原创 GAT知识总结

解决GNN聚合邻居节点的时候没有考虑到不同的邻居节点重要性不同的问题，GAT借鉴了Transformer的idea，引入masked self-attention机制，

2024-07-25 22:57:59 1665 1

原创 JavaWeb期末知识点复习

其他：在接受name参数页面-->stirng a = new string(request.getp("name").getBytes("ISO-8859-1"),"UTF-8")request：跳转后保存，地址栏不能变--服务器跳转-------------------------forward不变，redirect变。id="a" class=""> //创建一个class的对象a。DOM：文件对象----document---一个页面就是一个文件，每个标签是元素，

2024-06-10 15:19:53 1313 4

原创 Uniapp学习笔记

当点击表单中 formType 为 submit 的组件时，会将表单组件中的 value 值进行提交，需要在表单组件中加上 name 来作为 key。表单，将组件内的用户输入的提交。box-sizing：定义如何计算一个元素的总宽度和总高度，主要设置是否需要加上内边距(padding)和边框等。1.子组件中与data同级，props数组中写标签中要绑定的值。

2024-05-12 11:05:00 3029

原创 Vue学习笔记

1.将复杂的 {{ }}中的表达式写到 computed对象中，作为计算属性，computed对象和data，methods平齐。遍历对象：v-for="(value, name,index) in obj". value对应值，name对应键。//这样可以改变ui。如：<div v-bind:id = "" v-bind:class = ""></div>5.json变量："name" : values(数组，对象，字符串，数字)。简写为：<div :id = "" :class = "">,加冒号。

2024-05-12 11:02:29 1400 1

原创 qwen模型部署流程

Qwen2.5-72B大模型三卡部署流程摘要：首先创建conda环境并安装vLLM和transformers。推荐手动下载AWQ量化模型（约40GB显存）加速部署。启动服务时需配置关键参数：3张GPU流水线并行(--pipeline-parallel-size 3)、AWQ量化(--quantization awq)、显存利用率0.93(--gpu-memory-utilization)。根据72GB总显存，建议16K上下文长度配置8-16并发。需注意禁用CUDA Graphs(--enforce-eage

2026-03-26 00:30:44 458

原创 postgre sql 数据库查询优化

摘要：PostgreSQL全文检索通过两个核心步骤实现高效搜索：1) 使用ALTER TABLE创建自动生成的"精华笔记"列(search_vector)，利用to_tsvector进行分词和权重标记（标题A级/摘要B级）；2) 通过CREATE INDEX建立GIN倒排索引，实现关键词快速定位。查询时采用三阶段处理：to_tsquery标准化查询词，@@操作符利用索引快速匹配，ts_rank_cd综合考虑命中次数、词距和权重进行评分。这种基于索引的"查字典"方式相比

2026-03-26 00:28:29 728

原创 langchain与langgraph 有什么区别？

LangChain和LangGraph是构建LLM应用的开源框架。LangChain提供模块化组件（模型接口、工具封装、记忆管理等）简化开发，适合快速搭建RAG、简单Agent等场景。LangGraph专注于复杂工作流编排，支持多智能体协作、状态管理和人机交互，适用于生产级系统。两者互补：LangChain提供基础组件，LangGraph负责高级流程控制。当前趋势显示LangGraph正成为复杂Agent开发的标准，而LangChain作为基础设施继续存在。

2026-03-25 23:30:38 943

原创 mcp和skills 有什么区别？

MCP协议与KimiSkills构成AI生态的标准化接口与功能实现关系：MCP作为Anthropic开源的"AI界USB-C"协议，通过JSON-RPC2.0实现模型与工具的标准化交互；KimiSkills则是基于MCP构建的5000+即装即用功能模块（如搜索、代码、绘图等），每个Skill都是标准化的MCPServer。该架构解决了AI工具碎片化问题，实现"一次开发，全生态兼容"，支持多模态操作与安全隔离，形成语法（MCP）与词汇（Skills）的协同体系。

2026-03-25 23:29:40 393

原创 SwanLab 在监控什么？

SwanLab监控系统可自动跟踪训练全过程，包括：1)训练指标如Loss、学习率、训练进度和梯度范数；2)硬件状态如GPU显存、利用率、温度及CPU/RAM负载；3)记录所有超参数(LORA_R等)便于实验对比。只需设置report_to="swanlab"，即可全面监控模型训练效果和系统运行状态。

2026-03-25 23:28:19 50

原创 Agent相关面试题

问题答案通讯方式基于MessageBus的异步消息队列，每个 Agent 独立队列任务分配串行执行主任务（单主 Agent），并行后台 QC 审核质量检测四维检测：事实准确性、引用质量、逻辑一致性、安全合规性敏感识别基于预编译正则的多级风险检测 + 白名单上下文感知。

2026-03-25 23:26:49 494

原创微调模块：[“q_proj“, “k_proj“, “v_proj“, “o_proj“, “gate_proj“, “up_proj“, “down_proj“]，是啥意思？

Transformer架构主要由自注意力机制和前馈网络(MLP/FFN)组成。自注意力机制包含Q(查询)、K(键)、V(值)和O(输出)投影，负责计算词间关联和整合注意力信息。前馈网络采用SwiGLU结构，包含门控层(Gate)、升维层(Up)和降维层(Down)，负责特征变换和知识存储。这两部分是微调的首选目标，因为：1）集中了大部分参数；2）分别存储推理逻辑和领域知识；3）全量微调效果显著优于部分微调。

2026-03-25 23:25:56 295

原创 MGA 增强数据集

摘要：字节跳动Seed团队提出MGA（Massive Genre-Audience）数据增强方法，通过"体裁-受众"组合重构文本，解决大模型训练中的数据稀缺和重复退化问题。该方法使用轻量级模型生成多样化变体，在保留核心知识的同时扩展数据规模。实验表明，MGA增强的数据集使模型在推理和知识任务上性能提升2.03%-15.47%，并显著缓解重复训练导致的性能下降。该方法已应用于EasyDataset系统，通过自动生成GA对实现数据集的多样性扩展。（149字）

2025-12-12 12:31:17 707

原创 SFT 经验分享

SFT packing指的是在训练sft的过程中，将多个sft数据pack到一个样本内进行训练的方式，这种方式会加快模型训练速度。如果不进行SFT packing，那么对于短文本sft，需要padding到一个batch的最长长度，会浪费很多计算token。优点：充分利用GPU算力。缺点：不利于短文本和多轮对话，一般情况下不建议使用。

2025-08-20 17:30:28 1255

原创 mRNA 的修饰方式有哪些？它们分别作用于哪些位置？

*例子：**载脂蛋白 B（ApoB）mRNA 的 C-to-U 编辑使密码子 CAA（谷氨酰胺）变为 UAA（终止密码子），产生短链 ApoB48（肠道中），而未编辑的 mRNA 翻译为长链 ApoB100（肝脏中）。**Cap 1：**m⁷G + 第一个核苷酸的 2’-OH 甲基化（m⁷GpppNm，“Nm” 表示 2’-O - 甲基核苷酸），是高等真核生物（如哺乳动物）的主要帽子类型。**例子：**谷氨酸受体（GluR）mRNA 的 A-to-I 编辑可改变通道的钙离子通透性，影响神经信号传导。

2025-08-20 17:29:12 1785

原创一文搞定：常见的七种RNA的结构和功能

RNA是单链核酸分子，由核苷酸通过磷酸二酯键连接构成，含有碱基G、C、A和U（不同于DNA的T）。RNA主要分为三类：mRNA、rRNA和tRNA。mRNA携带遗传信息指导蛋白质合成，其结构包括5'端帽、5'UTR、编码区、3'UTR和polyA尾，这些结构对翻译调控和稳定性至关重要。rRNA是核糖体的核心成分，占其60%质量，参与蛋白质合成关键步骤。tRNA负责转运氨基酸至核糖体。RNA在细胞功能中扮演多种关键角色，从遗传信息传递到蛋白质合成执行。

2025-08-20 17:28:24 5037

原创 Zero-shot、One-shot 和 Few-shot

随着大语言模型（如 GPT-4、PaLM）的发展，Zero-shot、One-shot 和 Few-shot 学习已经成为衡量模型泛化能力的重要标准。One-shot 学习是在任务描述的基础上，提供一个输入输出示例，模型通过示例掌握任务模式，但不对模型权重进行更新。Few-shot 学习是在任务描述的基础上，提供多个输入输出示例，通过示例展示任务的模式和多样性，模型依此进行推理。增强 Few-shot 效果：通过更智能的示例选择提升模型性能。任务描述 + 多示例：示例越多，模型对任务的理解越全面。

2025-05-09 10:55:28 938

原创 transformer的并行性！！

假设输入序列长度为 N，模型维度为 D，Q、K、V 的生成复杂度为 O(N×D^2)，注意力得分计算复杂度为 O(N^2×D)，均通过矩阵并行加速。• 注意力得分的并行计算**：Q 与 K^T 的矩阵乘法可并行执行，生成所有位置对的注意力权重，避免了逐个位置计算的串行瓶颈。• **独立头的并行处理**：每个注意力头独立计算 Q、K、V，并在不同设备或计算单元上并行执行，最后拼接结果。• **位置独立的计算**：每个位置的输入经过相同的全连接层独立处理，所有位置的运算可同时执行。

2025-05-09 10:54:26 1353

原创梯度下降详细，adam和sgd

设置一个step间隔，调整学习率大小，0.1倍线性缩小，呈阶梯式下降。但是对于复杂情况（神经网络拟合的函数），肯定是未知函数的表达式。# 针对梯度太小的时候，可能是到了一个局部最优的陷阱。# extra move走的太多，停下来。说白了，一个已知的函数F，都可以由多个导数表示。离得越远的值，权重是小数的指数幂，会很小。# 优化一下，找见好的就再仔细找找。设置step间隔，指数衰减调整学习率。# 定义问题，去找这个函数的最小值。# 移步函数，就是每个点的一步求解。数据之和，对这个给予较小的权重。

2025-05-09 09:46:57 890

原创 xTrimoPGLM，GLM，LORA微调

对于生成任务，采用large span/long text的掩码，使用基于自回归预测空白的方法，即noncausal decoder方法，能看到encoder的输出，增强生成能力。它不能处理多个连续的 mask token，因为它需要根据答案的长度来调整 mask token 的数量，而答案的长度往往是未知的。：BERT 是一种基于自编码的模型，它通过 mask 输入文本中的一些单词，然后训练模型去预测 mask 的单词，这种目标叫做掩码语言模型（MLM）。限制遮盖的区域必须是完整的句子。

2025-05-09 09:45:44 1087

原创 batch和epoch

大的batch_size容易使模型收敛在局部最优点，而使用mini-batch，甚至单个数据训练时，相当于人为给训练加入了噪声，使模型走出局部最优（鞍点），从而在更大的范围内寻找收敛点。* 示例：训练集有1000个样本，若Batch Size=100，则一个Epoch包含10个Batch（1000/100=10）。* 示例：1000个样本的训练集，Batch Size=100 → 共有10个Batch（每个Batch含100个样本）。* 作用：模型在每个训练步骤（Step）中处理一个Batch的数据。

2025-05-09 09:41:29 687

原创 scaling law详细了解

3. 对于计算量C，模型参数量N和数据大小D，当不受其他两个因素制约时，模型性能与每个因素都呈现幂律关系。（只有一个为自变量，loss为因变量）如图所示，根据左图可以看到计算量与模型性能呈现幂律关系（可以认为数据和模型都不受限制），根据中图和右图，可以发现Nopt∝Ca,Dopt∝Cb，2.模型的最终性能主要与计算量C，模型参数量N和数据大小D三者相关，而与模型的具体结构(层数/深度/宽度)基本无关。4. 为了提升模型性能，模型参数量N和数据大小D需要同步放大，但模型和数据分别放大的比例还存在争议。

2025-05-09 09:38:14 1455

原创 Pytorch Transformer-核心代码+注释详解！

【代码】Pytorch Transformer-核心代码+注释详解！

2025-05-09 09:37:04 310

原创 BLT - Meta新作！无token的分词方法，全网最权威解析

FLOPS：注意全大写，是floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。· FLOPs：注意s小写，是floating point operations的缩写（s表复数），意指浮点运算数，理解为计算量。可以用来衡量算法/模型的复杂度。· 之前的大语言模型（如Llama、GPT等）主要基于token-level的处理方式，依赖于固定的词汇表。

2025-03-27 21:43:00 839

原创语言模型理论基础-持续更新-思路清晰

理解：“Query，Key，Value的概念取自于信息检索系统，举个简单的搜索的例子来说。最开始Wq，Wk，Wv 是随机生成的，后面通过训练 Wq，Wk，Wv 会不断调整，通过loss 函数进行。理解：每个token都会发出一个Q去询问其他token，点乘他们的K，得到相对的重要性，为了消除较大的K对softmax的影响除以根号dk，再做softmax得到概率后，点乘V，得到具体需要注意多少。我们利用-特征提取模型的-“浅层参数通用”的特性，使用模型A的浅层参数，其他参数再通过任务B去训练（微调）。

2025-03-24 08:49:21 630

原创过拟合欠拟合

欠拟合是指模型不能在训练集上获得足够低的误差。换句换说，就是模型复杂度低，模型在训练集上就表现很差，没法学习到数据背后的规律。

2025-03-22 10:59:43 569

原创贝叶斯优化超参数

贝叶斯优化的工作原理是：首先对目标函数的全局行为建立先验知识（通常用高斯过程来表示），然后通过不断地添加样本点观察目标函数在不同输入点的输出，更新这个先验知识，形成后验分布。这个选择的策略通常由所谓的采集函数（Acquisition Function）来定义，比如最常用的期望提升（Expected Improvement），这样，贝叶斯优化不仅可以有效地搜索超参数空间，还能根据已有的知识来引导搜索，避免了大量的无用尝试。采集函数基于代理模型的预测，量化每个候选点的采样价值，指导下一步的试验。

2025-03-22 10:55:55 1131

原创 GPT与Bert，预训练语言模型

作者在论文中提到这样做的好处是，编码器不知道哪些词需要预测的，哪些词是错误的，因此被迫需要学习每一个 token 的表示向量，另外作者也表示双向编码器比单项编码器训练要慢，进而导致BERT 的训练效率低了很多，但是实验也证明 MLM 训练方法可以让 BERT 获得超出同期所有预训练语言模型的语义理解能力，牺牲训练效率是值得的。BERT 输入的语句将由两个句子构成，[SEP]分隔符隔开，其中，50% 的概率将语义连贯的两个连续句子作为训练文本，另外 50% 的概率将完全随机抽取两个句子作为训练文本。

2025-03-22 10:51:17 903

原创 MLP 多层感知机+权重衰减+L1L2范数+激活函数

通过L1可以实现特征的稀疏，去掉一些没有信息的特征，例如在对用户的电影爱好做分类的时候，用户有100个特征，可能只有十几个特征是对分类有用的，大部分特征如身高体重等可能都是无用的，利用L1范数就可以过滤掉。然后执行K次模型训练和验证，每次在K－1个子集上进行训练，并在剩余的一个子集（在该轮中没有用于训练的子集）上进行验证。1.在监督学习中（有监督学习指的是我们知道每个样本的结果如回归，无监督学习指的是不知道/没有样本的结果如聚类降维），我们假设train set和test set是独立同分布的。

2025-03-21 09:03:05 1311

原创反向传播，清晰理解

反向传播通过链式法则将误差信号从输出层回传至输入层，并结合优化算法调整参数。：从输出层开始，计算损失对输出的梯度。例如，在Softmax+交叉熵损失中，梯度为预测概率与真实标签的差值（：根据预测值与真实值的差异，计算损失（如交叉熵损失或均方误差）。：深层网络中梯度可能指数级衰减（如Sigmoid激活）或膨胀（权重初始化过大）。：如PyTorch和TensorFlow，自动构建计算图并高效求导。）和非线性激活（如ReLU、Sigmoid），最终得到预测输出。：将数据分批次计算梯度，减少内存占用并加速收敛。

2025-03-21 08:56:40 1297

nuc软件工程导论期末

nuc算法期末复习资料

计网复习资料word版

大型语言模型在医疗领域的应用

Pandas数据分析代码

空空如也