- 博客(25)
- 收藏
- 关注
RSS订阅原创 LLM大模型中的基础数学工具——向量空间与几何
向量投影这个概念，就是处理向量之间关系的一个重要的东西。从几何的角度去理解它的原理，还是比较清晰的。在大语言模型里面，它对于文本语义的处理有着很重要的作用。通过代码示例，我们也能很方便地在实际应用中计算向量投影，从而帮助模型生成更贴合语义的内容。Gram 矩阵的半正定性证明主要是基于向量点积和模长的性质。在大语言模型中，它为词向量之间的度量提供了一个很重要的理论基础，能够保证模型在处理文本相似度、分类等任务的时候更加准确。
2025-04-19 01:34:17
819
原创 LLM大模型中的基础数学工具——张量运算
张量这东西，你就把它当作一种超厉害的数组，能用来表示各种各样维度的数据。比如说，单独一个数，像 5，这就是 0 - 阶张量，也就是我们平常说的标量；要是一条有方向、有长度的线，用数组 [2, 3] 这样表示出来，这就是 1 - 阶张量，也就是向量；一个像表格一样的数据，比如 [[1, 2], [3, 4]] ，这就是 2 - 阶张量，也就是矩阵。而更高阶的张量呢，能表示更为复杂的多维数据。张量缩并，简单来讲，就是对张量进行的一种操作，核心就是把张量的某些指标加起来，这样就能让张量的阶数降低。就拿。
2025-04-18 12:37:25
650
原创 LLM大模型中的基础数学工具——矩阵运算与分解
就像 A 是一个 m 行 n 列的矩阵， B 是一个 n 行 p 列的矩阵，它们相乘得到的 C 就是一个 m 行 p 列的矩阵。假设 A 是可逆的，原来的方程组是 Ax=b ，现在矩阵 A 变成了 A+ΔA ，右边的向量 b 变成了 b+Δb ，新的解就是 x+Δx ，也就是 (A+ΔA)(x+Δx)=b+Δb。病态问题就是说，如果矩阵 A 有一点点小的变化，比如说有个小的扰动 ΔA ，或者右边的向量 b 有个小的扰动 Δb ，那么方程组 Ax=b 的解 x 就会有很大的变化。
2025-04-17 02:11:36
682
原创 模型推理的性能优化
核心组件包括API网关、负载均衡器和模型服务集群，通过Kubernetes实现自动扩缩容。剪枝通过移除神经网络中的冗余连接或通道来减小模型大小。核心思想是基于重要性评分（如权重绝对值）移除对输出影响最小的参数。帧率：30FPS → 每帧处理时间<33ms。：使用TFLite Converter。模型是否量化(INT8/FP16)：自动合并多个请求提升吞吐量。：将超大模型拆分到多个设备。：动态范围量化减小体积。：调用NPU专用API。：预分配+内存池管理。：部署时使用INT8。模型大小：<15MB。
2025-04-16 02:11:11
1185
原创 LLM数学推导——Transformer架构问题集
覆盖基础组件（注意力、位置编码）、核心机制（残差、归一化）、训练技术（优化器、正则化）、架构变体（MoE、跨模态）及前沿扩展（神经符号、量子化）。多模态Transformer的跨注意力对齐损失（Contrastive Loss）梯度对称性分析。分析递归Transformer（Recurrent Transformer）的长期记忆保持能力。验证轻量级Transformer（Lite Transformer）的参数量-准确率权衡。
2025-04-14 01:42:34
655
原创 数学工具在LLM（大语言模型）中是如何使用的
数学工具是LLM的“语言”和“脚手架”，从底层架构设计（如矩阵分解）到高层应用（如生成控制）均依赖其严谨性。Fisher信息矩阵（Q45）等高级工具的应用，体现了LLM研究从经验驱动向理论驱动的演进。：Fisher矩阵作为拉普拉斯近似（Laplace Approximation）的协方差矩阵，估计参数后验分布。：传统梯度下降在参数空间中的更新方向可能因曲率问题导致收敛缓慢（如KL散度等高线非欧式空间）。Fisher信息矩阵（Q45）和图注意力（Q24）提供模型决策的数学解释依据。
2025-04-14 00:53:24
542
原创 LLM大模型中的基础数学工具
基础：矩阵乘法FLOPs计算（Q1）→ 进阶：SVD稳定性分析（Q2）→ 前沿：流形优化收敛性（Q50）。分析马尔可夫链的平稳分布存在条件（Perron-Frobenius定理应用）推导对偶问题（Dual Problem）的Slater条件强对偶性证明。推导小波变换（Wavelet Transform）的多分辨率分析公式。推导隐式差分格式（Implicit Scheme）的误差传播公式。验证拟牛顿法（BFGS）的对称秩一更新（SR1）公式。分析欧拉方法（Euler Method）的稳定性条件。
2025-04-13 23:01:11
806
原创 如何构建RAG知识库
构建知识库是RAG（Retrieval-Augmented Generation）系统的核心环节，其质量直接影响检索和生成的效果。技术文档：300-800 token（保留完整代码示例）。对话记录：100-300 token（保持单轮对话连贯）。：数据库表格、Excel/CSV（如产品手册、FAQ）。全量重建：定时重新生成FAISS索引（适合小规模数据）。：重叠50-100个token（保持上下文连贯）。：每块512个token（适合通用场景）。：用句号/段落分割（适合技术文档）。
2025-04-11 16:17:35
1011
原创 RAG技术简介
通过上述完整框架，开发者可构建适应不同场景的RAG系统，平衡效果、成本与实时性需求。RAG（Retrieval-Augmented Generation）是一种通过。：使用嵌入模型（如text2vec）将文本映射为向量空间。：通过摘要或选择性注意力机制处理长文档。使用TensorRT加速本地LLM推理。：平衡检索结果的相关性与多样性。：传统LLM无法动态更新知识。：通用模型在垂直领域表现不足。通过用户反馈数据微调检索器。使用CLIP处理图像检索。视频语音转文本后建立索引。：生成内容缺乏事实依据。
2025-04-11 15:57:08
743
原创 向量数据库技术简介
向量数据库是专门用于存储和查询向量数据（高维数值数组）的数据库系统，它通过高效的相似性搜索算法，解决了传统数据库无法处理的"模糊匹配"问题。
2025-04-11 02:26:46
678
原创 医学图像处理技术简介
医学图像智能处理是人工智能（AI）与医学影像分析相结合的交叉领域，旨在通过算法自动分析、识别和解释医学图像（如CT、MRI、X光、超声等），辅助医生进行疾病诊断、治疗规划和预后评估。：BraTS（脑肿瘤分割）、CheXpert（胸部X光）、NIH Pancreas-CT。常用模型：卷积神经网络（CNN）、ResNet、Vision Transformer。自动检测CT/MRI中的肿瘤位置、边界和恶性概率（如肺癌、脑胶质瘤）。技术：生成对抗网络（GAN）、扩散模型（如用于低剂量CT重建）。
2025-04-11 02:12:11
326
原创 常用滤波算法简介
一种动态系统状态估计算法，通过递归预测和观测修正，实时融合多源数据（如传感器输入），用于导航、机器人定位、金融预测等场景。非线性滤波器，通过滑动窗口取中位数消除脉冲噪声（如椒盐噪声），保护图像边缘，广泛应用于工业质检、文档扫描。| ✅ 实时性强，适合动态系统 | ❌ 依赖精确模型，非线性场景需改进 || ✅ 彻底消除脉冲噪声 | ❌ 对高斯噪声无效，大窗口模糊细节 || ✅ 高效抑制高斯噪声 | ❌ 边缘模糊，丢失纹理细节 || ✅ 边缘保护强，计算高效 | ❌ 依赖引导图像质量 |
2025-04-11 02:03:14
1009
原创 神经网络激活函数全解析
在神经网络中，激活函数用于引入非线性，使模型能够学习复杂的模式。以下是一些常见的激活函数及其特点：公式: 输出范围: (0, 1)特点: 常用于二分类问题的输出层，但容易导致梯度消失。公式: 输出范围: (-1, 1)特点: 比Sigmoid更常用，因为它的输出以0为中心，但仍然存在梯度消失问题。公式: 输出范围: [0, ∞)特点: 计算简单，能有效缓解梯度消失问题，但可能导致神经元“死亡”。公式: ，其中 α 是一个小的正数（如0.01）输出范围: (-∞, ∞)特点: 解决了ReLU的“死亡”问题，允
2025-04-10 12:40:16
829
原创 使用boolean_dispatch消除运行时分支来提升性能
若需要为 TorchScript 优化代码，可以用# 优化前（动态分支）else:# 优化后（静态分支）pass。
2025-04-10 11:06:55
857
原创 编译器是如何提高深度学习性能的
编译器通过静态图优化、并行化、内存管理、硬件指令生成等策略，显著提升深度学习性能。其核心思想是将运行时开销转移到编译时，并充分利用硬件特性。实际应用中，建议：使用 TorchScript/TensorFlow 的 XLA 启用静态图。融合小算子（如量化模型以适配边缘设备。结合自动并行化工具（如。
2025-04-10 10:17:17
878
原创 SLAM技术演进
只见Atlas微微"愣神"（约0.3秒），随即通过天花板管道的阴影重新定位——这背后正是现代SLAM技术的终极体现。2022年，英伟达研究员在模拟器中用DROID-SLAM完成了一项不可能任务：仅凭30秒的无人机航拍视频，就重建出整个足球场的3D模型，包括随风摆动的广告牌。2018年亚利桑那的夜晚，Uber自动驾驶测试车的前置摄像头因强光致盲，未能识别横穿马路的行人，而激光雷达却将她的自行车归类为"静止物体"。"我们的算法在火星模拟环境准确率99%，但就是搞不定客户家的波斯地毯"
2025-04-10 02:16:24
704
原创 SLAM技术简介
从Roomba笨拙地碰撞桌椅，到火星车在亿万公里外自主勘探，SLAM技术的发展揭示了一个深刻原理：真正的智能不在于完美感知，而在于对不确定性的包容与适应。当机器能像人类一样在迷路后“找找熟悉的标志物重新定位”，才是智能觉醒的开始。
2025-04-10 02:03:52
712
原创 大语言模型（LLM）数据处理流程
1.多源数据采集 LLM训练数据通常来自互联网文本（如网页、书籍、新闻、社交媒体）、结构化数据库和领域特定语料库（如医学文献、法律条文）。压缩比（R）与训练损失（L）：通过ZIP算法筛选信息密度高且冗余度低的数据子集，优先训练高价值样本。性能指标：困惑度（Perplexity）、BLEU分数、人工评估（如事实一致性检查）。监督微调（SFT）：使用标注数据调整模型参数，适配特定任务（如代码生成、医疗诊断）。自动标注：基于规则或预训练模型（如BERT）进行情感分析、实体识别标注，提升效率。
2025-04-10 01:47:42
394
原创 卡尔曼滤波的开源库和实际应用场景
通过结合开源库和场景需求，可以高效实现卡尔曼滤波的工程应用。：融合陀螺仪（高频但漂移）和加速度计（低频但稳定）数据。：估计隐藏的市场趋势（如“真实价格”）。：跟踪车辆位置和速度。
2025-04-10 01:35:03
291
原创 卡尔曼滤波详解
卡尔曼滤波（Kalman Filter）是一种高效的递归滤波器，用于从包含噪声的观测数据中估计动态系统的状态。它广泛应用于导航、控制系统、信号处理、机器人、金融等领域。通过理解卡尔曼滤波的预测-更新机制和协方差管理，可以灵活应用于各类动态系统状态估计问题。
2025-04-09 11:19:12
418
原创 为什么需要卡尔曼滤波
从而在噪声中提取真实信息。从航天导航到智能手机，从金融预测到医疗诊断，它已成为现代工程中处理时序数据的核心工具之一。理解其本质后，可以更灵活地选择或改进滤波算法（如EKF/UKF）以适应具体场景。要理解它的来龙去脉和必要性，需要从问题起源、数学本质和实际需求三个维度展开。（Kalman Filter）的诞生和发展源于对。的迫切需求，其核心目的是。卡尔曼滤波的诞生源于对。的数学追求，其价值在于。
2025-04-09 09:42:20
525
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人