u012133341的博客

原创 【大模型微调实战与前沿】第一章：微调新范式——从通用到垂直

目录1.1 大模型微调的本质与必要性1.1.1 预训练（Pre-training）与微调（Fine-tuning）的区别1.1.1.1 知识注入 vs. 指令遵循（Instruction Following）1.1.1.2 全量微调（FFT）的算力墙与局限性内存（显存）构成的数学表达缓解策略（工程和算法层）1.1.2 为什么我们需要微调1.1.2.1 什么时候用 RAG：知识时效性与长尾知识1.1.2.2 什么时候用微调：格式依从、风格迁移与复杂推理综合视角：RAG 与微调的功能边界1.2 现代微调技术栈概

原创 使用Qwen2.5-7B训练自己的本地中文医疗大模型

如果你的训练数据大量来自**“在线问诊平台”“万金油句式”**（例如：“建议去医院检查”、“这个不好说”、“可以观察一下”）。模型学到了医生的“敷衍”和“短回复”，而没有学到深度推理。模型在为了适应你的数据集时，牺牲了原本通用的逻辑判断能力（比如男人不能怀孕，管制药不能买）。目前的 System Prompt 虽然定义了身份，但没有强制它进行“逻辑检查”。

原创 开源医疗相关数据集

（Kaggle/Hugging Face: Hani89/medical_asr_recording_dataset） → 包含数千条医疗症状音频（如“knee pain”）及其转录文本，总时长超8小时。适合ASR转录或症状识别。（Hugging Face: united-we-care/United-Syn-Med） → 英文医疗语音记录，焦点在临床对话和医学术语，转录文本可用。适合自动化转录和摘要。MeQSum。

原创 使用BioMistral-7B训练自己的本地医疗大模型 实操版，已亲自运行

具体网址在这里。

原创 本地 LLM 部署 第 4 章：嵌入生成与向量索引构建

原版 BGE-M3 在医学领域已表现出色，但针对PubMed（生物医学文献摘要）等专业语料进行微调，可显著提升医学实体、长尾术语（如药物名、疾病机制）和中英混合临床文本的语义召回（社区测试 +10-25%）。BGE-M3 微调：FlagEmbedding 支持 unified fine-tuning（dense + sparse + colbert），使用 PubMedQA、PubMed triplets 等数据集。新兴整合：Google。

原创 本地 LLM 部署 第三章：PDF 文档预处理管道

问题推荐方案预期效果表格畸变Unstructured hi_res + 跨页合并脚本95%+ 表格完整多语言乱码PyMuPDF 字体预检 + 局部 OCR零乱码输出混合文档PyMuPDF 快速提取 + Unstructured fallback速度与精度平衡批量处理验证脚本先行 → 分类处理避免全量重跑通过上述诊断-修复闭环，你可在本地 RAG 系统中实现生产级 PDF 数据摄入质量。

原创 本地 LLM 部署 第 2 章：低显存 LLM 加载与推理优化

第 2 章：低显存 LLM 加载与推理优化——在 12GB VRAM 上部署 7B-13B 模型在资源受限的环境中（如消费级 GPU 的 12GB VRAM），部署 7B 到 13B 参数的 LLM（如 Llama 或 Mistral 系列）需要精心优化下载、加载和推理流程。本章聚焦于 Hugging Face（HF）生态的实用加速策略，帮助开发者快速获取模型文件、预检兼容性，并在低显存下稳定运行。

原创 本地 LLM 部署：从 Windows 环境配置到 RAG 与 QLoRA 微调 第 1 章：优化 NVIDIA GPU 驱动与 CUDA 生态匹配

第 1 章：优化 NVIDIA GPU 驱动与 CUDA 生态匹配——避免版本冲突的系统级配置。

原创 构建高效的本地 LLM 管道：从 Windows 环境配置到 RAG 与 QLoRA 微调

产出：一个 ChromaDB 或 FAISS 索引文件，支持本地向量相似度搜索；附带检索延迟测试脚本。产出：一个医学病历风格的 LoRA 适配器权重文件（.safetensors 格式）；附带训练日志分析工具。产出：一个优化的 .gguf 模型文件，支持 Ollama 本地部署；附带部署配置文件模板。产出：一个 Web 版“私有化知识库助手”应用，支持 PDF 上传、RAG 查询与微调模型集成；附带源代码仓库模板与 CI/CD 脚本。

原创 资源镜像网站 人工智能类

国内快速下载huggingface（镜像）上的模型和数据。

原创 利用大规模生物活性挖掘，计算识别针对癌基因驱动蛋白 EGFR、BRAF 与 CDK4 的高亲和力抑制剂

背景：精准癌症治疗需要小分子抑制剂与致瘤蛋白靶点之间的精确匹配。方法：我们使用 Python 及 ChEMBL 数据库 API 开发了一套计算流程，系统性地筛选针对 EGFR、BRAF 与 CDK4 的高亲和力配体。对 IC50 < 1000 nM 的生物活性进行过滤，并检索候选化合物的分子结构（SMILES）以供后续优化。结果：本研究共识别出 [插入总数] 种独特化合物。其中，对 BRAF 激酶而言，我们挑选了一批 IC50 低至 6.0 nM 的高效实验性化合物。

原创 手把手教你大模型离线部署 从硬件选型到性能调优 一

质量指标（按任务）自然语言生成：PPL（困惑度）、BLEU、ROUGE、任务专用度量或人工标注评分。问答/分类：准确率（Accuracy）、F1、EM（Exact Match）。性能指标延时：p50, p95, p99（毫秒）。吞吐：samples/sec 或 tokens/sec（并发情况下测 QPS）。资源：显存峰值 / CPU 实际占用 / GPU 利用率（nvidia-smi）。opset 版本：不同后端支持不同 opset。

原创 弹道导弹突防场景下的群目标分裂算法

本文针对弹道导弹防御系统中群目标分裂跟踪的时序平衡问题，提出了一种基于IMM-UKF框架的群目标分裂算法。在拦截高度60km以上时，雷达需在保证跟踪稳定性的同时尽早完成群目标分裂，以避免因分裂过早导致的混杂跟踪、资源饱和，或分裂过晚错失拦截窗口。研究通过分析群目标形成机制与跟踪策略，建立了包含IMM-UKF滤波框架、数据关联算法和分裂距离优化模型的完整解决方案。核心创新点在于：1）采用固定组合的弹道动力学模型、当前统计模型和恒速模型，降低机动目标模型误选概率；

原创 Detection and Tracking of Ballistic Target 弹道目标的探测与跟踪

本文系统研究了弹道目标的雷达检测与跟踪技术，重点开发了电磁模型和运动学模型。通过CAD建模和物理光学/物理衍射理论，建立了目标雷达散射截面（RCS）与视线角度的映射关系，为检测概率计算提供基础。运动学模型综合考虑推力、阻力和重力作用，推导出包含归一化时间变量的状态方程，解决了传统卡尔曼滤波在非线性弹道跟踪中的失效问题。基于此，设计了包含扩展卡尔曼滤波（EKF）和交互多模型（IMM）的跟踪架构，通过蒙特卡洛仿真验证了其对助推段弹道目标和高机动飞机的跟踪性能。

原创 Nonlinear_filters_for_tracking_maneuverable_ballistic_missile_targets_on_reentry

本文档围绕扩展卡尔曼滤波器（EKF）与无迹卡尔曼滤波器（UKF）在状态估计中的性能对比展开研究，重点探讨了先验信息引入及自适应机制对滤波效果的影响。研究通过对比实验验证了不同滤波算法在动态系统状态估计中的精度差异，核心发现包括：1）引入先验信息的EKF和UKF在估计精度上显著优于无先验信息版本；2）自适应EKF和UKF通过动态调整噪声参数，进一步提升了估计稳定性；3）在特定动态场景下，自适应UKF表现出最优的跟踪性能。实验采用多组对比测试，通过图表直观展示了各算法在不同时间步长下的估计误差变化趋势。

原创 Systems-of-Systems Analysis of Ballistic MissileDefense Architecture Effectiveness ThroughSurrogate

本文提出了一种基于代理模型的系统级分析框架，用于评估弹道导弹防御系统的架构有效性。传统方法受限于高保真度仿真工具的计算复杂度，难以在系统级层面进行快速决策分析。研究团队通过设计实验生成数据集，构建神经网络代理模型，实现了对多传感器跟踪融合、火控规划等核心模块的快速仿真。该框架支持在架构层面进行敏感性分析，例如通过调整传感器布局、跟踪算法和平台数量，实时评估系统零漏杀概率。实验表明，代理模型在保持2%平均误差的同时，将计算效率提升至传统仿真的数千倍，使决策者能够在桌面环境下实时生成性能地图，优化资产部署策略。

原创 ON ESTIMATION OF PERFORMANCE OF TRACK-BEFORE-DETECTALGORITHM FOR 3D STACKED-BEAM RADAR

三维层叠波束雷达跟踪前检测算法性能的估计。

原创 基于深度学习的弹道目标群多目标跟踪关联仿真

原创 Tactical Ballistic Missile Tracking using the InteractingMultiple Model Algorithm基于交互式多模型算法的战术弹道导弹跟踪

原文地址原文地址。

原创 面向大型语言模型中的推理

推理是人类智能的一个基本方面，在问题解决、决策制定和批判性思维等活动中发挥着至关重要的作用。近年来，大型语言模型（LLMs）在自然语言处理领域取得了显著进展，人们观察到，当这些模型规模足够大时，可能会表现出推理能力。本文全面概述了当前关于LLMs中推理能力的研究现状，包括提升和激发这些模型推理能力的技术、评估推理能力的方法与基准、该领域先前研究的发现与启示，以及对未来研究方向的建议。我们的目标是为这一主题提供一份详尽且最新的综述，并促进有意义的讨论与未来研究的开展。

原创 Large Language Models: A Survey 大型语言模型：综述 原版翻译

原创 卡尔曼滤波：原理、实现与扩展实现 文中包含完整源码

说明：下面代码我已在笔记本中运行并展示图像（轨迹与创新），你也可以复制到你的环境直接运行。若要把图保存为文件，增加即可。dt = 0.1N = 150def f(x):def h(x):r = 1e-6return H# Predict# Updateplt.show()单轴运动目标跟踪（KF）：最简单的线性情形，用来展示 Q/R 对估计与一致性的影响。GPS + IMU 融合（EKF）：典型的传感器频率不一致、多源数据融合问题，强调时间同步、控制输入的建模与观测间隔处理。

原创 【视觉架构学】 第3章 掩码建模（MIM）与自监督的工程实现 完整源码实现

本附录提供一个可直接运行的工程化最小可复现示例，演示掩码建模（MIM）的两种常见设计路径（像素级重建 与 特征级重建），并说明为何 MIM 对微调友好、对比学习为何对线性探测有效、以及在 3D 自监督中的掩码策略要点、缩放与边缘蒸馏实践要点（解释性内容与工程实现并存）。示例代码保证可以在 CPU 上运行、使用极小合成数据并在 1 个 epoch 内完成训练 demo（适合作为书中“工程实现附录”）。

原创 【视觉架构学】 第2章 Vision SSM 工程实现附录：从序列化到动态扫描 完整代码实现

本附录通过模拟手段展示了 Vision Mamba 能够处理图像的核心机制——。

原创 【视觉架构学】第1章 从 Attention 到 状态空间模型（SSM） 代码完整实现

【代码】【视觉架构学】第1章 从 Attention 到 状态空间模型（SSM） 代码完整实现。

原创 【视觉架构学：注意力、SSM 与生成模型的融合】第六部分 应用场景、基准与系统工程（Systems, Efficiency & Safety）

原创 【视觉架构学：注意力、SSM 与生成模型的融合】第五部分 多模态通用感知 第8章 混合专家模型（MoE）与多模态路由

原创 【视觉架构学：注意力、SSM 与生成模型的融合】第五部分 多模态通用感知

原创 【视觉架构学：注意力、SSM 与生成模型的融合】第四部分 生成式视觉与世界模拟 第6章 视频生成与世界模型

本章给出理论推导、系统设计与工程权衡，旨在为研究者在构建长时序视频生成系统与基于生成式世界模型的控制器时提供可操作的数学与工程指导。下一章将继续深入到“多模态世界模型与符号推理”的主题，探讨如何把视觉-语言-动作统一到同一潜空间并用于高层规划。

原创 混合专家模型（Mixture of Experts，MoE）——综述

目录摘要（Overview）1 引言（Motivation 与历史脉络）2 概念与基本构件（Router 与 Experts）3 设计动机：为什么在 Transformer 中使用 MoE4 核心挑战与解决路径（以负载均衡与系统为中心）4.1 专家负载不均衡（为何出现、为何重要、如何解决）4.2 训推基础设施与通信开销5 路由机制与专家设计的演化（从静态到自适应）6 工程实践：从训练到部署的经验教训7 典型应用与实证效果8 研究前沿与未来方向9 小结混合专家模型（Mixture of Experts, Mo

原创 【视觉架构学：注意力、SSM 与生成模型的融合】第四部分 生成式视觉与世界模拟第5章 从扩散到流：统一与加速

第四部分 生成式视觉与世界模拟第5章 从扩散到流：统一与加速随着生成式模型从扩散框架向流匹配范式的演进，生成过程的统一视角和加速策略已成为提升效率与质量的核心焦点。这种转变不仅桥接了随机与确定性动态，还通过高阶求解器和多尺度架构实现了采样速度的指数级提升，同时维持了生成保真度。本章从扩散模型的随机微分方程与常微分方程统一视角入手，探讨概率流常微分方程的确定性采样和高阶求解器的工程应用，并延伸至流匹配的训练思路与加速潜力。

原创 【视觉架构学：注意力、SSM 与生成模型的融合】第四部分 生成式视觉与世界模拟 第5章 从扩散到流：统一与加速

第四部分 生成式视觉与世界模拟第5章 从扩散到流：统一与加速随着生成式模型从扩散框架向流匹配范式的演进，生成过程的统一视角和加速策略已成为提升效率与质量的核心焦点。这种转变不仅桥接了随机与确定性动态，还通过高阶求解器和多尺度架构实现了采样速度的指数级提升，同时维持了生成保真度。本章从扩散模型的SDE与ODE统一视角入手，探讨确定性采样和高阶求解器的工程应用，并延伸至流匹配的训练思路与加速潜力。

原创 【视觉架构学：注意力、SSM 与生成模型的融合】第三部分 无监督/自监督引擎与合成数据闭环第4章 合成数据与数据闭环

第三部分 无监督/自监督引擎与合成数据闭环第4章 合成数据与数据闭环随着生成式人工智能的快速发展，数据生产范式正在从依赖人工采集与标注转向利用AI进行合成与自动化验证。这种转变标志着一种根本性的迁移，其中合成数据不再仅限于解决隐私保护或初始阶段的数据不足问题，而是成为克服数据扩展定律中数据枯竭瓶颈并提升模型鲁棒性的关键资源。本章探讨生成模型如何通过反哺判别模型来构建自动化的数据闭环系统，同时从工程视角分析合成数据管线的实际部署挑战。

原创 C++23 核心特性解析

C++23 通过这些特性，使 C++ 更接近函数式和高性能语言的理想。如果你处理高性能 I/O、多维数据或错误链，升级值得。目前，GCC 11+（-std=c++23）、Clang（C++23 支持良好）和 MSVC（库特性领先）均支持大部分特性。对于生产，检查特定编译器版本；若依赖 C++20，C++23 是自然升级，提升效率和安全性。

原创 C++ 与 LLM：构建高性能大模型推理基础设施的系统工程

大模型推理系统的构建，是一项融合了计算机体系结构、操作系统原理、编译技术与分布式系统的宏大工程。C++ 凭借其对硬件的极致掌控力、确定的延迟特性以及强大的抽象能力，成为了连接上层 AI 算法与底层硅基算力的唯一桥梁。对于系统架构师而言，理解上述 C++ 基础设施的构建原理，不仅是优化服务性能的关键，更是掌握 AI 时代算力命门的必修课。随着未来专用 AI 芯片（ASIC）的崛起以及模型向端侧的下沉，这套基于 C++ 的高性能计算方法论将持续演进，成为构建下一代智能系统的核心基石。

原创 【视觉架构学：注意力、SSM 与生成模型的融合】第二部分 视觉 SSM（Vision Mamba）与序列表征 第 3 章 掩码建模（MIM）与自监督的实用边界

本文探讨视觉自监督学习中的掩码建模(MIM)及其应用。首先分析像素级与特征级MIM的差异：前者保留细节适合微调，后者语义抽象利于线性探测。其次揭示MIM与对比学习的互补性，iBOT/DINOv2等研究表明二者结合可同时获得语义不变性和局部细节。在3D数据上，提出针对点云/网格的MIM框架，强调解决位置泄露和优化掩码比例。最后讨论缩放定律在自监督中的应用，以及通过蒸馏将大模型知识迁移到边缘设备的实践路径，包括领域对齐、损失选择和量化剪枝等关键技术。研究为视觉表征学习提供了理论指导和实用框架。

原创 【视觉架构学：注意力、SSM 与生成模型的融合】第二部分 视觉 SSM（Vision Mamba）与序列表征第 2 章 Vision SSM 基础与实现

本文系统探讨了视觉状态空间模型（VisionMamba）的核心原理与实现策略。首先阐述了SSM通过线性系统响应编码长程依赖的独特优势，重点分析了从连续系统到离散化的工程实现要点，包括数值稳定性控制和选择性扫描的CUDA优化。针对视觉数据的二维特性，提出了多种空间扩展方案，包括序列化、可分离核和混合架构。VisionMamba系列通过交叉扫描模块解决了视觉数据的非因果性挑战，并展示了在图像分类和密集预测任务中的线性复杂度优势。文章还详细讨论了医学影像处理中的内存优化策略、可变形扫描机制以及全面的超参数调优方法

原创 【视觉架构学：注意力、SSM 与生成模型的融合】第一部分 表征与架构第1章 从 Attention 到 状态空间模型（SSM）

Transformer 被引入视觉领域后并非简单复制 NLP 的成功范式，而是在图像数据的固有属性、视觉任务的需求以及算力与工程约束的共同作用下发生了深刻的“异化”与“特化”。理解这两重变化对高级工程师来说不仅是学术兴趣，而是决定设计选择、训练策略与部署路径的基础。下文依脉络展开：先回顾关键里程碑，再沿着若干技术轴心剖析演化机制，最后给出工程化的实践建议与未来方向。

原创 傅里叶基础混合物理信息神经网络（FMPINN）：原理、完整推导与理论保证

【代码】傅里叶基础混合物理信息神经网络（FMPINN）：原理、完整推导与理论保证。

原创 物理信息神经算子（PINO）：原理、完整推导与理论基础

本文实现了一个增强版PINO(PINN)模型，用于求解偏微分方程。主要特点包括：1)支持多分辨率批训练；2)内置Burgers方程的高阶PDE约束；3)提供损失可视化和误差热图功能。模型采用傅里叶神经算子架构，包含多层傅里叶变换层和全连接层，通过自动微分计算物理约束损失。实验结果显示模型能准确预测PDE解，验证了该方法的有效性。代码结构清晰，包含数据生成、模型训练和可视化全流程。