奇华资料的博客

原创 Nginx源码分析(25篇)

Nginx源码分析 - 初探Nginx的架构 Nginx源码分析 - 基础数据结构篇 - 内存池 ngx_palloc.c Nginx源码分析 - 基础数据结构篇 - 数组结构 ngx_array.c Nginx源码分析 - 基础数据结构篇 - 缓冲区结构 ngx_buf.c Nginx源码分析 - 基础数据结构篇 - 双向链表结构 ngx_queue.c Nginx源码分析 ......

转载 随机森林算法及其实现（Random Forest）

阅读目录1 什么是随机森林？ 2 随机森林的特点 3 随机森林的相关基础知识 4 随机森林的生成 5 袋外错误率（oob error） 6 随机森林工作原理解释的一个简单例子 7 随机森林的Python实现 8 参考内容回到顶部1 什么是随机森林？　　作为新兴起的、高度灵活的一种机器学习算法，随机森林（Random Forest，简称RF）拥有广泛的应用前景，从市场营销...

转载 Flink架构、原理与部署测试

Apache Flink是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运行时，提供支持流处理和批处理两种类型应用的功能。现有的开源计算方案，会把流处理和批处理作为两种不同的应用类型，因为它们所提供的SLA（Service-Level-Aggreement）是完全不相同的：流处理一般需要支持低延迟、Exactly-once保证，而批处理需要支持高吞吐、高效处理...

原创 2025“PINN+多任务学习”创新思路再升级！登上IEEE(Trans)中科院1区TOP！

最近一篇关于+多任务学习的成果得到了广泛关注，讲的是一种基于PINN的混合多任务学习方法，用于，发表于IEEE(Trans)中科院1区TOP，非常值得学习（下文有解析）。这种结合核心在于搭配PINN的精确物理建模能力和多任务学习的泛化、知识迁移特性，不仅能提高模型训练效率、预测准确性，还能同时减少对大量标注数据的依赖，尤其适用于复杂系统建模（如航空航天、医疗影像）和高维PDE求解，可谓当前深度学习与科学计算交叉领域的研究焦点。

原创 2025正在爆发！“PINN+注意力机制”成高校论文新赛道

霸榜一区顶刊和各大顶会！光是ICLR25就有多篇。其中模型，更是取得了预测误差直降99.2％，收敛速度狂提的拔群效果！其热度可见一斑！主要在于：一方面，这两者结合非常好出创新点。PINN作为好“水”论文的顶流，传统的改进方法，早已卷成麻花，而与注意力机制结合，则是新兴思路，还在起步阶段。另一方面，其为处理复杂数据和多种模态数据的任务，提供了全新的解决方案。注意力机制动态权重分配的特点，能够克服PINN面临梯度消失或计算效率低的缺陷，助力模型的预测准确性和泛化能力的提升。

原创 2025人工智能AI新突破：PINN内嵌物理神经网络火了

最近在淘金的时候发现基于物理信息的神经网络（简称PINN）也是个研究热点，遂研读了几篇经典论文，深觉这也是个好发论文的方向，所以火速整理了一些个人认为很值得一读的PINN论文和同学们分享。为了方面同学们更好地理解，我们先来简单了解下PINN：PINN就是将物理方程作为限制加入到神经网络之中使得拟合得到的结果更加满足物理规律，这是一种科学机器在传统数值领域的应用方法，通常用于解决交叉学科中存在微分方程难以求解问题。

原创 LLM开源大模型汇总（截止2025.03.09）

技术，ChatGLM2-6B 有更高效的推理速度和更低的显存占用：在官方的模型实现下，推理速度相比初代提升了 42%，INT4 量化下，6G 显存支持的对话长度由 1K 提升到了 8K。开源了六种大小的基础和聊天模型，即0.5B、1.8B、4B、7B、14B、32B、72B 和 110B，以及 MoE 模型（64个expert）开源了0.5B、1.5B、7B、57B-A14B（共57B但激活14B）和72B等五种模型。开源了0.5B、1.5B、3B、7B、14B、32B和72B等七种模型。

原创 大模型Transformer的MOE架构介绍及方案整理

deepseek最近引起了NLP领域的极大关注，也让大家进一步对MOE架构提起了信心，借此机会整理下MOE的简单知识和对应的大模型。本文的思路是MOE的起源介绍、原理解释、再到现有MOE大模型的整理。

原创 大模型部署TensorRT-LLM保姆级教程（三）- 使用Triton推理服务框架部署模型

TensorRT-LLM 是一个用于定义大语言模型并构建 TensorRT 引擎的 Python API，以高效地在 NVIDIA GPU 上执行推理。TensorRT-LLM 包含用于创建 Python 和 C++ 运行时以及执行这些 TensorRT 引擎的组件。它还包括一个用于与NVIDIA Triton 推理服务集成的后端（tensorrtllm_backend）；使用 TensorRT-LLM 构建的模型可以在单个 GPU或在具有多个 GPU 的多个节点上执行（（使用张量并行或流水线并行））。

原创 大模型部署TensorRT-LLM保姆级教程（二）- 开发实践

由于服务器无法访问外网，只能预先准备好镜像，安装包、编译源码等，接下来准备安装 TensorRT-LLM，推荐使用 Docker 构建和运行 TensorRT-LLM，整个安装步骤参考 TensorRT-LLM 中构建 Docker 镜像的。通常，build.py 仅需单个 GPU，但如果您有推理所需的所有 GPU，则可以通过添加 --parallel_build 参数来启用并行构建，以使引擎构建过程更快。本文简要介绍了TensorRT-LLM环境搭建，同时，基于Bloom进行模型量化及推理。

原创 大模型部署TensorRT-LLM保姆级教程（一）- 快速入门

同时，它的接口和文档相对较少，用户可能需要更深入地了解其底层实现和使用方式，这对于初学者来说可能会增加学习和使用的难度。并且 FastTransformer 的生态较小，可用的资源和支持较少，这也会增加使用者在理解和应用 FastTransformer 上的困难。Protobuf是一种轻量级的、高效的数据交换格式，但它在序列化和反序列化大型数据时有一个默认的大小限制。随着大模型的爆火，投入到生产环境的模型参数量规模也变得越来越大（从数十亿参数到千亿参数规模），从而导致大模型的推理成本急剧增加。

原创 大模型推理框架Triton使用教程：从青铜到王者的修炼

所谓自定义backend就是自己写推理过程，正常情况下整个推理过程是通过模型直接解决的，但是有一些推理过程还会包含一些业务逻辑，比如：整个推理过程需要2个模型，其中要对第一个模型的输出结果做一些逻辑判断然后修改输出才能作为第二个模型的输入，最简单的做法就是我们调用两次triton服务，先调用第一个模型获取输出然后进行业务逻辑判断和修改，然后再调用第二个模型。不过在triton中我们可以自定义一个backend把整个调用过程写在里面，这样就简化调用过程，同时也避免了一部分http传输时延。

原创 深度解析 | 2025 AI新突破，物理信息神经网络（PINN）：Nature级顶刊的「科研加速器」，70份源码论文速取！

过去一年，物理信息神经网络（**PINN**）以「现象级」姿态席卷科研圈：不仅在NeurIPS、ICML等顶会横扫15%+相关论文，更以**流体力学预测、材料逆向设计**等突破性成果，连续登上《Nature》正刊及子刊（附案例↓）。👉 它究竟解决了什么痛点？**用物理方程给AI戴上“镣铐”**，让神经网络从纯数据拟合转向**物理规律驱动**，一举攻克传统方法三大难题：• **数据饥渴症**：仅需1/10样本量即可建模复杂偏微分方程（如Navier-Stokes方程）

原创 一文帮你吃透transformer（大模型的基石）

Transformer由论文提出，现在是谷歌云TPU推荐的参考模型。论文相关的Tensorflow的代码可以从GitHub获取，其作为Tensor2Tensor包的一部分。哈佛的NLP团队也实现了一个基于PyTorch的版本，并注释该论文。在本文中，我们将试图把模型简化一点，并逐一介绍里面的核心概念，希望让普通读者也能轻易理解。Transformer 与 RNN 不同，可以比较好地并行训练。

原创 2025清华大学Deepseek学习课程第4、5讲-免费领取

2025清华大学最新Deepseek学习课程第四讲已出。

原创 C++使用Onnxruntime/TensorRT模型推理

onnxruntime和tensorrt是我们常用的两种推理方式，下面整理了两个推理示例，仅供参考。

原创 C++实现yolov8 + tensorrt推理

对于yolov8的模型，要加速的话，首先要进行模型转换，从onnx转换为tensorrt。本文推理主要使用Tensorrt的C++的Api，实现推理加速。

原创 C++实现yolov8+onnx+tensorrt模型转换

使用TensorRT进行加速推理时，需要先将onnx格式转化为tensorrt格式，以下是使用C++来进行转化代码以及对应的CMakeLists.txt文件。本文主要为大家详细介绍了如何使用C++将yolov8 onnx格式转化为tensorrt格式,文中的示例代码讲解详细,感兴趣的小伙伴可以了解一下。以yolov8为例，使用cmake编译好后会生成build可执行文件，执行以下命令即可等待生成yolov8x.engine文件。

原创 DeepSeek市面最新资料合集，免费领20250214

给大家来一波资料合集。基本上市面上比较好的资料，都给大家收集过来了，想要使用的朋友可以自行领取了。

原创 2025清华大学Deepseek硬核学习资料1-3讲免费领取

两份deepseek的教程。

原创 【课程系列17】AI 大模型全栈工程师培养计划（先导课）

该课程为 AI 全栈工程师培养计划的起点，涵盖 Python 基础至高级应用，包括环境配置、编辑器选择、pip 使用、字符编码处理、文件 IO、爬虫技术及 FastAPI 实战。课程共包含 21 个视频教程，从 Python 初始知识到高级应用技巧，助力学员快速掌握大模型全栈开发核心技能。

原创 【课程系列15】2024某客时间企业级Agents开发实战营（已完结）

某客时间企业级Agents开发实战营，视频资料，已完结。

原创 【课程系列14】某乎AI大模型全栈工程师-第9期(已完结)

某乎AI大模型全栈工程师-第9期，已完结，大模型全栈工程师第九期已完结。

原创 【课程系列13】某乎AI大模型全栈工程师-第8期(已完结)

某乎AI大模型全栈工程师-第8期，已完结。

原创 使用onnxruntime-gpu 推理，如何限制GPU显存大小？

使用 onnxruntime-gpu 进行推理，运行时间久了，显存被拉爆。

原创 nvidia推理栈

原创 19种主流大模型Agent开发框架调研 ******建议收藏*****

代理（Agent）指能自主感知环境并采取行动实现目标的智能体，即AI作为一个人或一个组织的代表，进行某种特定行为和交易，降低一个人或组织的工作复杂程度，减少工作量和沟通成本。背景目前，我们在探索Agent的应用方向，借此机会调研学习了一下现在主流的Agent框架，这篇文章也是我们调研过程的记录。截止至今日，开源的Agent应用可以说是百花齐放，文章也是挑选了热度和讨论度较高的19类Agent，基本能覆盖主流的Agent框架，每个类型都做了一个简单的summary、作为一个参考供大家学习。

原创 Agent入门，大模型时代产品经理还能玩什么？

最近也在投入几款基于Agent开源产品进行二开的产品工作，后续在prompt调优、聊天体验优化等方面，可以和大家分享一些思路，敬请关注（btw，目前自己也只是一名初入AI领域的AI爱好者哈哈，如文中有所纰漏，欢迎大佬们不吝赐教、帮助我更好的进步～）1、新增一个问题分类器，其中task1中的分类为「通用」，task可以设为「撰写产品需求文档」，之后，AI即可自行对用户提问的意图做区分，从而可以让不同的问题流向不同的大模型和prompt人设去对应处理。其最基础的常用格式是：你是一个xxx，你的任务是xxxx。

原创 完全小白的大模型入门科普

多模态大模型，结合了NLP和CV的能力，通过整合并处理来自不同模态的信息（文本、图像、音频和视频等），可以处理跨领域的任务，例如文生图，文生视频、跨媒体搜索（通过上传图，搜索和图有关的文字描述）等。根据训练的数据类型和应用方向，我们通常会将大模型分为语言大模型（以文本数据进行训练）、音频大模型（以音频数据进行训练）、视觉大模型（以图像数据进行训练），以及多模态大模型（文本和图像都有）。大部分的大模型，都是基于开源大模型框架和技术打造的，实际上是为了迎合资本市场的需求，或者为了蹭热度。

原创 人工智能大模型常见的推理框架

大模型常见推理框架：Transformers、Llama.cpp、Llamafile、Ollama、vLLM、TGI（Text Generation Inference)、DeepSpeed。是重点。

转载 ONNX 实时graph优化方法

ONNX实时提供了各种图形优化来提高模型性能。图优化本质上是图级别的转换，从小型图简化和节点消除，到更复杂的节点融合和布局优化。图形优化根据其复杂性和功能分为几个类别（或级别）。可以在线或离线执行。在联机模式下，优化在执行推断之前完成，而在脱机模式下，实时将优化的图形保存到磁盘。ONNX实时提供Python、C++、C++和C API，启用不同的优化级别，并在脱机与在线模式之间进行选择。下面将详细介绍优化级别、在线/离线模式以及控制它们的各种API。

转载 目标检测中的FPN+RPN

在聊Feature Pyramid Networks(FPN)和Region Proposal Networks(RPN)之间先熟悉一下Faster R-CNN的背景。与算法如yolo系列相比，Faster RCNN做为典型的算法最大的区别就在于其先通过RPN找到proposal，在对proposa分类，经历了两个网络。

转载 一文搞懂Faster RCNN

在介绍RPN前，还要多解释几句基础知识，已经懂的看官老爷跳过就好。对于单通道图像+单卷积核做卷积，第一章中的图3已经展示了；对于多通道图像+多卷积核做卷积，计算方式如下：图5 多通道卷积计算方式如图5，输入有3个通道，同时有2个卷积核。对于每个卷积核，先在输入3个通道分别作卷积，再将3个通道结果加起来得到卷积输出。所以对于某个卷积层，无论输入图像有多少个通道，输出图像通道数总是等于卷积核数量！

转载 TensorRT的源码编译

目录。

转载 AES加密 C++调用Crypto++加密库 样例

实现了非常多的加密算法，基本能满足我们的加密需求。这阵子写了一些数据加密的小程序，对照了好几种算法后，选择了AES，高级加密标准（英语：Advanced Encryption Standard，缩写：AES）。AES可使用的加密模式的介绍，http://blog.youkuaiyun.com/aaaaatiger/article/details/2525561。（基本加解密过程是stackoverflow的一个小demo，我将它改动一下，实现了一个在两个程序之间，以文件做为介质的加解密的过程）预计会搜索到这文章的。

转载 AES的五种加密模式（CBC/ECB/CTR/OCF/CFB）- 附C++实现

分组密码有五种工作体制：1.电码本模式（Electronic Codebook Book (ECB)）；2.密码分组链接模式（Cipher Block Chaining (CBC)）；4.密码反馈模式（Cipher FeedBack (CFB)）；计算器模式不常见，在CTR模式中， 有一个自增的算子，这个算子用密钥加密之后的输出和明文异或的结果得到密文，相当于一次一密。这种加密方式简单快速，安全可靠，而且可以并行加密，但是在计算器不能维持很长的情况下，密钥只能使用一次。

转载 MMDetection官方教程 技术细节 | 四

模型参数在开始时仅同步一次。在向前和向后传递之后,所有GPU之间的梯度都将减小,优化器将更新模型参数。通常,数据集定义了如何处理注释,数据管道定义所有准备数据字典的步骤。由于对象检测中的数据大小可能不同(图像大小,gt bbox大小等),因此我们在MMCV中引入了一种新类型。我们将发布更多组件(backbones, necks, heads) 用于研究的目的。如果我们要实现一些新组件,例如,路径聚合网络中用于实例分段的路径聚合FPN结构(在本节中,我们将介绍训练检测器的主要单元：数据管道,模型和迭代管道。

转载 C++ TensorRT部署实战：YOLOv5模型部署

TensorRT是英伟达官方提供的一个高性能深度学习推理优化库，支持C++和Python两种编程语言API。通常情况下深度学习模型部署都会追求效率，尤其是在嵌入式平台上，所以一般会选择使用C++来做部署。本文将以YOLOv5为例详细介绍如何使用TensorRT的C++版本API来部署ONNX模型，使用的TensorRT版本为8.4.1.5，如果使用其他版本可能会存在某些函数与本文描述的不一致。另外，使用TensorRT 7会导致YOLOv5的输出结果与期望不一致，请注意。本文以YOLOv5。

转载 一文搞懂ONNX-Runtime综述&使用&源码分析（持续更新）

onnx-runtime可以加载onnx或者ort格式的模型--- onnx 模型，即原始的onnx模型，为protobuf格式存储--- ort模型，onnx-runtime将onnx模型经过图优化等保存下来的模型，采用flatbuffer，性能更好，体积更小整体而言，onnx-runtime为了支持多设备多平台，做了很多复杂的事情，整体的推理软件栈的思路还是一致的；flatbuffer也是替代protobuf的一种很好的方式。

转载 [推理部署] ONNXRuntime C++/Java/Python 资料汇总

有段时间没更了，最近准备整理一下使用TNN、MNN、NCNN、ONNXRuntime的系列笔记，好记性不如烂笔头（记性也不好），方便自己以后踩坑的时候爬的利索点~（ 看这 ，目前80多C++推理例子，能编个lib来用，感兴趣的同学可以看看，就不多介绍了）开源项目描述GithubA lite C++ toolkit of awesome AI models.（一个开箱即用的C++ AI模型工具箱，emmm，平时学一些新算法的时候顺手捏的，目前包含80+流行的开源模型。