- 博客(523)
- 收藏
- 关注
RSS订阅原创 【Benchmark是什么？】
Benchmark（基准测试）是一种标准化的测试方法，用于定量评估和比较不同系统（如硬件、软件、算法等）的性能表现。核心作用包括性能比较、评估、优化调试、营销宣传和追踪技术进步。常见类型有硬件测试（如Geekbench）、软件测试（如TPC数据库基准）和AI评估（如MLPerf）。但需注意其局限性，如厂商针对性优化、测试场景单一等。Benchmark作为技术领域的客观标尺，为性能评估和决策提供了重要依据。
2025-08-21 17:49:44
408
原创 【多模态大模型深度融合中的标准交叉注意力小结】
摘要：标准交叉注意力是多模态大模型深度融合的核心机制，通过"你问我答"的方式实现跨模态信息交互。它基于Transformer架构，让一个模态（如文本）通过Query查询另一模态（如图像）的Key/Value信息，建立精准对齐关系。该机制支持多层次深度交互，比简单拼接更智能，能有效减少噪声干扰，广泛应用于视觉问答、文生图等任务。其工作原理类似课堂问答：学生（文本）提出问题，教科书（图像）提供线索，最终实现跨模态的精准信息融合。
2025-08-20 11:55:43
287
原创 【大模型早期融合的标记化架构】
👉 系统化总结：早期融合的标记化架构是在多模态大模型的早期融合策略里，用 token 统一表示不同模态，从而让一个模型在共享空间中直接学习模态间关系。早期融合的标记化架构不是孤立存在的，它处于多模态 AI 发展的大背景中。👉 全局化总结：早期融合 + 标记化架构的核心就是。这条链路就是早期融合标记化架构的工作逻辑。
2025-08-20 11:34:49
357
原创 【大模型早期融合的非标记化架构】
“早期融合的非标记化架构”，其实是指：在多模态融合里，输入阶段直接把不同模态的原始特征（未经强标签化、未被统一成同一格式的表示）拼接或并行输入模型，让模型自己去学会理解和对齐。我用“三化”来帮你通俗讲清楚👇为什么会有“早期融合的非标记化架构”？👉 系统化理解：这是在算力和模型能力允许时，让模型自己去发现跨模态关系，而不是人为设计标签或统一编码。输入层非标记化拼接与输入模型学习输出层👉 全局化理解：这就是“早期融合”+“非标记化”，即：不用人为提前规范格式，交给大模型在输入阶段直接混合学习。可以类比成小
2025-08-19 21:31:54
372
原创 【多模态融合方式】
多模态融合方法对比 多模态融合根据信息交互时机分为四种主流方式：早期融合（直接拼接各模态原始特征，信息全但杂乱）、中期融合（模态先独立处理再用注意力机制交互）、后期融合（各模态独立预测后投票）和深度融合（网络各层持续交互，效果最优但成本高）。这些方法本质是信息交流深度的递进——从一次性混合到逐层反复融合，需根据任务复杂度、资源条件权衡选择。简单任务可用后期融合，复杂任务推荐深度融合，但需强大算力支撑。
2025-08-19 21:26:42
201
原创 【多模态大模型的三化】
多模态大模型（MLLM）可以通过“三化”框架通俗理解： 系统化：结合算力、数据、应用等外部环境，将多模态视为连接不同感官的统一大脑； 全局化：拆解为输入、表示、对齐、融合、输出等模块，强调跨模态语义对齐与信息融合； 结构化：类比“翻译共同语言→集体推理”流程，核心是解决模态间的协同问题。 关键点：多模态需先统一语义表达，再实现生成与推理。常见应用包括文生图、视频理解等，技术难点在于对齐质量与数据偏差。速记口诀：“五连（输入到输出）五环（算力到安全）”。
2025-08-19 21:14:26
788
原创 【大模型量化推理框架】
本文用做菜比喻解析6种模型量化方案：1）PTQ直接量化（快但精度低）；2）动态量化（边处理边量化，适合变长输入）；3）SmoothQuant（平衡激活值与权重量化，LLM首选）；4）GPTQ（智能分层压缩，体积最小）；5）AWQ（保护关键参数，适合移动端）。通过对比表格指出：PTQ适合快速部署，SmoothQuant保持高精度，GPTQ/AWQ专攻轻量化。如同选择厨具，需根据场景（速度/精度/体积）匹配方案。（149字）
2025-08-19 11:51:54
575
原创 【介绍量化效果优化有哪些？SmoothQuant的优化过程和原理？】
SmoothQuant是一种针对大语言模型（如LLaMA、GPT）的量化优化方法。核心思路是通过数学变换平衡权重和激活值的量化难度：对激活值除以缩放因子(s)缩小范围，同时对权重乘以s保持计算结果不变。该方法在无需训练的情况下，通过校准阶段计算最优s值，使得激活值和权重都更易量化，从而显著降低激活值量化误差。相比传统量化，SmoothQuant在LLM上实现几乎无损精度的INT8量化，推理速度可提升3倍，特别适合解决大模型中激活值动态范围大导致的量化难题。
2025-08-19 11:45:11
535
原创 【大模型量化方法QAT、PTQ、GPTQ】
本文介绍了三种模型量化方法： 训练时量化(QAT)：在训练阶段模拟量化环境，适合高精度场景，但耗时较长，如手机人脸解锁。 训练后量化(PTQ)：训练完成后压缩模型，速度快但精度略降，适用于短视频滤镜等实时应用。 GPTQ量化：针对大模型的智能压缩技术，能高效压缩至4比特且保持精度，适合在移动端运行大语言模型。 三种方法各具优势：QAT精度高，PTQ速度快，GPTQ适合大模型压缩。选择时需根据需求平衡速度与精度。
2025-08-19 11:37:41
405
原创 【大模型参数显存小结】
大模型训练中的显存占用主要来自三部分：模型参数显存、激活显存和优化器显存。模型参数显存存储权重和梯度，用于前向/反向传播；激活显存保存中间计算结果，是梯度计算的基础；优化器显存存储动量等状态信息，用于参数更新。三者缺一不可，共同支撑模型训练过程。显存优化技术如参数分片、混合精度训练等可减少占用。前向传播计算预测值，反向传播通过链式法则计算梯度，优化器利用动量和方差调整参数更新方向与幅度。
2025-08-19 11:10:48
561
原创 【大模型量化、蒸馏、剪枝、微调小结】
大模型优化技术主要包括量化、蒸馏、剪枝和微调。量化通过降低参数精度（如32位→8位）提升效率；蒸馏将大模型知识迁移到小模型；剪枝移除冗余参数实现轻量化；微调技术（如Adapter、LoRA）则高效适配下游任务。这些技术的本质分别是精度-效率权衡、知识迁移、模型稀疏化和任务适配，共同解决大模型资源消耗高、部署难的问题。
2025-08-19 09:34:07
490
原创 【模型评估中的BLEU、ROUGE、Bertscore、BERT分别什么意思？】
本文对比分析了四种NLP评估指标：BLEU、ROUGE、BERTScore和BERT。BLEU基于n-gram匹配，适用于机器翻译但忽略语义；ROUGE侧重内容覆盖，适合摘要评估；BERTScore利用BERT模型衡量语义相似度，精度高但计算复杂；BERT本身是预训练模型，为下游任务提供基础架构。选型建议指出应根据任务特点组合使用不同指标，如翻译用BLEU+BERTScore，摘要用ROUGE-L，对话系统用BERTScore等。文末强调需结合具体场景选择评估方法。
2025-08-15 21:17:11
1000
原创 【大模型评估体系简介】
摘要： 大模型评估体系涵盖自动化、人工和大模型评估三类方法，适用于不同任务场景。评估实施分为场景拆解、工具选型、指标设计等五步，需结合领域特性（如医疗、金融）定制指标。前沿方法包括优化Prompt设计和链式评估，混合策略可平衡效率与可靠性。常见问题如指标矛盾可通过调整权重或三级过滤法解决。评估报告需包含核心结果与改进建议，形成评估-优化闭环。关键要诀是明确目标、混合策略和持续优化。
2025-08-15 21:01:06
767
原创 【使用三化总结大模型基础概念】
摘要： 大模型的研发与应用涉及系统性、全局性和结构化的多维度分析。从系统生态看，需关注算力基础设施、数据来源、法规伦理及商业竞争等外部因素。模型内部结构涵盖Transformer架构、训练流程、参数规模、能力维度及部署方式。各要素间存在动态关联：算力影响训练规模，数据质量决定模型性能，架构优化提升推理效率，训练策略适配部署需求，法规约束应用落地。研究大模型需综合考虑技术实现、资源条件和社会环境的多重交互影响。（149字）
2025-08-15 17:57:40
355
原创 【大模型微调的目的是什么？流程是什么？为什么要微调模型？】
摘要： 本指南系统阐述了大模型指令微调的全流程与关键技术。核心包括：1）赋予模型复杂指令理解与多轮对话能力；2）数据收集与质量检验方法，强调领域数据占比与统计验证；3）模型选择标准与硬件配置建议；4）微调技术细节（LoRA参数公式、Adapter结构）；5）多维评估体系（人工评分、推理速度）；6）常见问题解决方案（效果下降时调整数据比例或采用DoRA）及前沿技术（QLoRA量化部署）。通过模块化结构提供从理论到实践的完整指导，涵盖医疗、法律等专业场景应用案例。
2025-08-15 17:52:49
616
原创 【开源大模型和闭源大模型分别有哪些？两者的对比？部署私有化模型的必要性有哪些？】
通过此分析，企业可根据自身需求在成本、性能与安全之间找到平衡点。建议金融/医疗等强监管领域优先考虑私有化，而初创公司可先用API快速验证需求。推理节点1: vLLM+LoRA。推理节点2: 量化模型。是否需要SOTA性能?
2025-08-15 17:01:01
683
原创 用户态与内核态是什么？有什么作用？两者在什么时候切换？为什么要切换？
用户态与内核态的划分是现代操作系统的基石，这种设计在安全性和性能之间取得了关键平衡。理解其原理对开发高性能、稳定可靠的系统至关重要。
2025-06-12 17:49:20
902
原创 关系代数运算转成SQL语句
关系代数运算与SQL语句的转换是数据库学习中的核心内容。常见的关系代数运算包括投影、选择、连接、并、差、笛卡尔积等，这些运算可以通过SQL语句实现。例如，投影（π）对应SQL中的SELECT语句，选择（σ）对应WHERE条件，笛卡尔积（×）对应CROSS JOIN，连接（⨝）对应JOIN ... ON ...，并（∪）对应UNION，差（−）对应EXCEPT，交（∩）对应INTERSECT，重命名（ρ）对应AS。通过具体示例，如查询计算机系学生的学号和姓名，可以清晰地展示如何将关系代数表达式转换为SQL语句
2025-05-12 08:24:29
546
转载 【时间复杂度计算】
时间复杂度用于衡量算法执行时间随数据规模增长的变化趋势，常用大O表示法描述。核心原则是忽略低阶项和常数项，关注最高阶复杂度。
2025-05-08 10:30:22
52
1
原创 缓存替换算法与存储器管理的分页、分段、段页式管理联系
理解这些联系有助于在计算机体系结构（硬件）和操作系统（软件）层面统一优化存储性能。，但应用层级和具体场景不同。缓存替换算法与存储器管理的分页、分段、段页式管理在。上存在相似性，均涉及。
2025-05-07 10:16:41
397
原创 详解0-1背包的状态转移表
通过构建这个状态转移表，我们可以清晰地看到每一步是如何基于之前的结果做出决策的。动态规划的核心在于利用子问题的解来构建更大问题的解，避免重复计算。在0-1背包问题中，状态转移表直观地展示了在不同物品选择和不同背包容量下的最优解。
2025-05-07 10:15:09
800
原创 0-1背包问题基础概念
每个物品只能选或不选（即“0-1”），求在不超过背包容量的前提下，所能获得的。，否则会重复使用同一物品，变成“完全背包”问题。（0 个物品时，无论容量多少，价值都是 0）个物品中选取若干个，放入容量为。⚠️ **注意：**必须倒序遍历。的背包中所能获得的最大价值。二维数组空间复杂度为。，可以用一维数组降为。
2025-05-05 16:24:55
192
原创 介绍分治、动态规划、回溯分别是什么？有什么联系和区别？给出对象的场景和java代码？
分治适合问题可以被拆解为若干独立子问题的情形；动态规划适合问题具有重叠子问题和最优子结构；回溯适合在解空间中试探性地寻找满足条件的所有解，适合搜索类问题。是否需要我帮你画一张图来对比这三种算法的流程结构？
2025-05-05 15:32:09
484
原创 系统分析师-第十五章
通过参加考试，训练学习能力，而非单纯以拿证为目的。1.在复习过程中，训练快速阅读能力、掌握三遍读书法、运用番茄工作法。2.从底层逻辑角度理解知识点，避免死记硬背。3.通过考试验证学习效果。
2025-04-30 19:24:34
409
原创 系统分析师-第十三、十四章
通过参加考试，训练学习能力，而非单纯以拿证为目的。1.在复习过程中，训练快速阅读能力、掌握三遍读书法、运用番茄工作法。2.从底层逻辑角度理解知识点，避免死记硬背。3.通过考试验证学习效果。
2025-04-29 19:52:57
262
原创 【分治算法的分和治如何理解？如何判断使用分治算法解决问题？为什么分治可以提升算法效率，其底层逻辑是什么？】
问题解释「分」把大问题拆成小问题（结构清晰）「治」递归解决小问题，并合并结果适用条件子问题独立、可以合并提升效率的底层逻辑① 减少单次处理规模 ② 支持并行 ③ 快速递归到小规模分 → 小而易解；治 → 合而成解。小问题快，合并巧，大问题就迎刃而解！
2025-04-29 11:13:42
363
原创 汽车启动原理是什么？
（只有滚动），所以是静摩擦力。如果轮胎打滑（如冰面），就变成滑动摩擦，此时摩擦力减小，汽车难以启动。如果没有静摩擦力（如在完全光滑的平面上），车轮只会空转，汽车无法前进！汽车发动机（内燃机或电动机）工作时，会通过传动系统将动力传递到。同学们，今天我们来讨论汽车的启动原理，重点分析其中的。我会结合物理概念，用尽量直观的方式讲解。（前轮、后轮或四轮）。汽车能启动，核心在于轮胎与地面之间的。
2025-04-29 11:10:52
812
原创 分治和递归的区别？
递归是一种编程技巧：自己调用自己，解决问题。分治是一种算法思想：把大问题分成小问题分别解决，再合并。递归是形式，分治是思想。分治几乎靠递归来写，但递归不一定是分治。
2025-04-29 08:59:27
274
原创 系统分析师-第十一、十二章
通过参加考试，训练学习能力，而非单纯以拿证为目的。1.在复习过程中，训练快速阅读能力、掌握三遍读书法、运用番茄工作法。2.从底层逻辑角度理解知识点，避免死记硬背。3.通过考试验证学习效果。
2025-04-28 16:56:04
344
原创 【prompt是什么？有哪些技巧？】
是用户输入给AI模型（如ChatGPT、GPT-4等）的指令或问题，用于引导模型生成符合预期的回答。它的质量直接影响AI的输出效果。：多测试不同Prompt，观察AI的输出差异，逐步迭代优化！
2025-04-25 20:18:04
880
原创 系统分析师-第九、十章
通过参加考试，训练学习能力，而非单纯以拿证为目的。1.在复习过程中，训练快速阅读能力、掌握三遍读书法、运用番茄工作法。2.从底层逻辑角度理解知识点，避免死记硬背。3.通过考试验证学习效果。
2025-04-25 09:04:19
277
原创 大模型是如何生成内容的？
步骤描述1️⃣将输入文本切分成 token2️⃣利用 Transformer 理解上下文3️⃣预测下一个 token（词）4️⃣重复预测，直到生成完成🎲通过 sampling 策略控制风格和多样性。
2025-04-24 19:36:31
418
原创 【大模型有哪些训练阶段？】
大模型（如 GPT、BERT 等）训练一般可以分为以下，每个阶段都承担着不同的职责，共同推动模型从“语言新手”成长为“多任务专家”。
2025-04-24 19:35:32
396
原创 系统分析师第七、八章
通过参加考试，训练学习能力，而非单纯以拿证为目的。1.在复习过程中，训练快速阅读能力、掌握三遍读书法、运用番茄工作法。2.从底层逻辑角度理解知识点，避免死记硬背。3.通过考试验证学习效果。
2025-04-23 14:37:17
204
原创 【系统分析师-第五、六章总结】
通过参加考试，训练学习能力，而非单纯以拿证为目的。1.在复习过程中，训练快速阅读能力、掌握三遍读书法、运用番茄工作法。2.从底层逻辑角度理解知识点，避免死记硬背。3.通过考试验证学习效果。
2025-04-19 20:57:44
441
原创 redis和lua为什么能实现事务
这种方案虽不如传统 ACID 事务严谨，但在高并发场景下提供了。能力，是 Redis 作为内存数据库的核心优势之一。Redis 结合 Lua 实现事务的能力，主要通过。三者的协同作用来实现。原生 Redis 事务（
2025-04-19 11:25:43
449
原创 【系统分析师-第三、四章】
通过参加考试，训练学习能力，而非单纯以拿证为目的。1.在复习过程中，训练快速阅读能力、掌握三遍读书法、运用番茄工作法。2.从底层逻辑角度理解知识点，避免死记硬背。3.通过考试验证学习效果。
2025-04-19 08:31:30
304
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人