LLM notes

最新推荐文章于 2025-07-14 21:00:27 发布

原创最新推荐文章于 2025-07-14 21:00:27 发布 · 30 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#python

Qwen

Qwen2.5-VL

预训练包含三个阶段：视觉预训练: 仅训练 ViT，使用图像标题、视觉知识和 OCR 数据。
多模态预训练: 解冻所有模型参数，使用交错数据、VQA、视频、智能体等多种数据。
长上下文预训练: 引入视频、智能体数据，并增加序列长度。

Llama

关注博主即可阅读全文

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

小裴（碎碎念版）

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

【LLM4医疗】医疗AI大模型汇总

图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖

12-24

1874

因为关注AI在医疗上的应用，尤其近期GPT模型的爆发和热潮，于是汇总下LLM4医疗的相关研究进展。

LLM学习笔记

weixin_40103562的博客

10-16

868

常见术语。

参与评论您还未登录，请先登录后发表或查看评论

LLM合成数据notes

不问归处

07-14

107

使用guard_model_path=“meta-llama/Meta-Llama-Guard-2-8B”，reward_model_path=“sfairXC/FsfairX-LLaMA3-RM-v0.1"等调用api对生成数据进行安全性、奖励、质量、难度等打分，再筛选符合要求的数据。ps：看任务，我自己用reward-model-deberta-v3-large-v2测的分数感觉不行，做不了筛选。

LLM&RL notes

不问归处

07-14

努力学习🀄️Critic模型：用于价值函数估计Reward模型：用于奖励信号计算RewardBySimilarity模型：基于相似度的奖励模型代码里Critic模型继承ChatGLM-6B模型，确保与Action模型（生成模型）使用相同的词表；大幅减少层数（从原来的28层减少到1层）来降低模型大小；添加线性层输出价值分数：self.output_linear = nn.Linear(self.model.hidden_size, 1)使用tanh激活函数将分数限制在[-1,1]之间。

Hybrid LLM Parallelism

连理o的博客

07-08

829

Notes on Distributed LLM Inference

notes for llm-universe C1

2301_81944256的博客

06-17

1459

LLM 有时会产生与客观事实不符的信息，导致用户接收到的信息不准确。RAG 通过检索数据源，辅助模型生成过程，确保输出内容的精确性和可信度，减少信息偏差。LLM 基于静态的数据集训练，这可能导致模型的知识更新滞后，无法及时反映最新的信息动态。RAG 通过实时检索最新数据，保持内容的时效性，确保信息的持续更新和准确性。LLM 生成的内容往往缺乏明确的信息来源，影响内容的可信度。RAG 将生成内容与检索到的原始资料建立链接，增强了内容的可追溯性，从而提升了用户对生成内容的信任度。

notes for llm-universe C2

2301_81944256的博客

06-20

1038

Prompt 最初是 NLP（自然语言处理）研究者为下游任务设计出来的一种任务专属的输入模板，类似于一种任务（例如：分类，聚类等）会对应一种 Prompt我们每一次访问大模型的输入为一个 Prompt，而大模型给我们的返回结果则被称为 Completion。

notes for llm-universe C4

2301_81944256的博客

06-26

677

Streamlit是一个用于快速创建数据应用程序的开源 Python 库。它的设计目标是让数据科学家能够轻松地将数据分析和机器学习模型转化为具有交互性的 Web 应用程序，而无需深入了解 Web 开发。它不需要你去编写任何客户端代码（HTML/CSS/JS），只需要编写普通的 Python 模块Streamlit 提供了一组简单而强大的基础模块，用于构建数据应用程序：st.write()：这是最基本的模块之一，用于在应用程序中呈现文本、图像、表格等内容。

0-LLM学习环境配置

ecjfang的博客

07-23

1320

conda 环境介绍：安装完anaconda后，默认有一个base环境，刚开始学就用base环境就ok了。如果之后有别的需要，比如想换一个python版本，可以考虑创建一个新的conda环境（可以想象成一个新的虚拟机）A: （1）感觉pip用得更多，很多Python项目的README文档中都是用pip进行依赖包的安装；配置国内包的镜像源：打开Anaconda Prompt (anaconda3)，输入下列命令。（2）在Anaconda Prompt (anaconda3)中输入。输入token后登录。

notes for llm-universe C5

2301_81944256的博客

06-29

984

现在，我们已经构建了一个简单的、一般化的大模型应用。以调用、发挥大模型为核心的大模型开发相较传统的 AI 开发更注重验证迭代因此，在使用 LLM 构建应用程序时，你可能会经历以下流程：首先，你会在一到三个样本的小样本中调整 Prompt ，尝试使其在这些样本上起效。随后，当你对系统进行进一步测试时，可能会遇到一些棘手的例子，这些例子无法通过 Prompt 或者算法解决。这就是使用 LLM 构建应用程序的开发者所面临的挑战。

LLM统一接口

galileo2016的博客

12-13

418

OpenAI 接口接入适配，支持千帆大模型平台、讯飞星火大模型、腾讯混元以及MiniMax、Deep-Seek，等兼容OpenAI接口，仅单可执行文件，配置超级简单，一键部署，开箱即用。

大型模型技术栈概述-LM Notes.zip

10-18

LLM Notes作为本次探讨的焦点，其内容应该涉及模型架构、数据处理、训练方法、优化技术、推理部署等方面。LM Notes-master文件可能包含了这些方面的详细说明和指导，例如模型架构可能会详细介绍transformer架构、其...

这个仓库主要记录与LLM算法工程师相关的面试问题.zip

10-18

文件名“LLMs_interview_notes-main”以及“该仓库主要记录大模型（LLMs）算法工程师相关的面试题_LLMs_interview_notes”清楚地指向了内容的主题。"main"通常表示主文件或主版本，而“该仓库主要记录大模型...

何构建一个通用的大模型智能体（LLM Agent）

呱牛 Just do IT

03-28

1128

为什么要构建一个通用的 Agent？因为它是一个出色的工具，可以用来原型化你的用例，并为设计你自己的定制 Agent 架构奠定基础。

使用SpringAOP自定义权限控制注解

青衫客36的博客

07-10

439

本文通过自定义注解对 Controller 层的方法实现访问控制，其核心原理是基于 Spring AOP 的面向切面编程机制。系统在运行时由 Spring 生成目标类的动态代理对象，在方法执行前织入权限校验逻辑，从而实现对用户访问权限的统一拦截与验证，确保接口调用符合预设的安全规则。

深入浅出 Python Asynchronous I/O：从 asyncio 入门到实战

柷敔的博客

07-10

886

想象一下你在厨房做饭，需要同时烧水、切菜和炒菜。同步 (Synchronous)：你先把水壶放到灶上，然后就一直盯着它，直到水烧开。之后，你再去切菜，切完所有菜后，最后才开始炒菜。在这个过程中，当你在等待水烧开时，你什么也做不了，时间被白白浪费。异步 (Asynchronous)：你把水壶放到灶上后，就不管它了，直接去切菜。切菜的间隙，你抽空看一眼水开了没。水一开，你就去处理。这样，等待水烧开的时间被你用来切菜，整个做饭的效率大大提高。[3]代码的世界也是如此。

QuACK：用纯 Python 把 H100 推到“光速”

weixin_41446370的博客

07-14

155

Flash Attention作者Tri Dao团队推出全新GPU内核库QuACK，完全基于Python和CuTe-DSL开发，无需CUDA C++代码。在H100显卡上性能超越PyTorch编译器和Liger库33%-50%。团队强调高性能的关键在于精准处理bank冲突、流水线延迟和L2预取等硬件细节，并通过CuTe-DSL将这些优化抽象为Python表达式。QuACK现已开源，开发者可通过简单Python调用实现底层TMA+Hopper WGMMA指令优化。

Java Stream流详解

最新发布

Broken_x的博客

07-14

738

Java Stream流详解：从基础到原理摘要 Java 8引入的Stream流是集合操作的函数式抽象，通过无存储、惰性计算等特性，构建高效的数据处理流水线。Stream解决了传统集合操作的三大痛点：简化代码（消除迭代样板）、提升可读性（声明式编程）、支持并行计算（Fork/Join框架）。使用流程分为创建Stream、中间操作（如filter/map）和终端操作（如collect/reduce）三步，支持链式调用和延迟执行。Stream API统一了不同数据源的处理方式，其底层通过Spliterator

Pytorch深度学习框架实战教程01：简介

数据饕餮

07-14

506

PyTorch 是基于 Python 的深度学习框架，由 Facebook 开发维护，提供了动态计算图、GPU 加速等功能，被广泛应用于学术研究与工业界。

ImportError: cannot import name 'build_engine' from 'tensorrt_llm' (/home/ec2-user/anaconda3/envs/testtrt/lib/python3.10/site-packages/tensorrt_llm/__init__.py)

03-14

<think>嗯，用户遇到了在TensorRT-LLM中无法导入build_engine的问题，提示ImportError: cannot import name 'build_engine' from 'tensorrt_llm'。我需要先分析可能的原因，然后逐步给出解决方案。首先，我应该考虑常见的导入错误原因，比如版本不兼容、安装问题、模块路径错误或API变更。首先，用户可能没有正确安装TensorRT-LLM或者安装的版本不兼容。需要检查是否通过官方渠道安装，比如使用pip或从源码构建。如果用户通过pip安装，可能需要指定正确的版本号，或者确认是否支持当前环境。另外，源码安装可能需要额外的依赖或构建步骤，比如安装CMake、CUDA工具包等，如果这些依赖缺失，可能导致安装不完整，进而引发导入错误。其次，模块结构或API变更也是一个常见原因。开发库的更新可能会改变函数的位置或名称。例如，build_engine可能被移动到其他子模块中，或者函数名被修改。用户需要查阅对应版本的官方文档或GitHub仓库的发布说明，确认函数是否存在变动。如果确实有变动，需要调整导入语句，比如从tensorrt_llm.builder导入build_engine。另外，环境冲突也可能导致问题。比如存在多个Python环境，或者安装了不同版本的TensorRT、PyTorch等依赖库，导致版本不匹配。这时候建议使用虚拟环境（如conda或venv）隔离项目环境，确保所有依赖版本一致。还有可能是路径问题，比如安装的包没有被正确添加到Python的sys.path中，或者当前工作目录中存在同名模块，导致Python误导入其他文件。需要检查sys.path，确认tensorrt_llm的安装路径是否正确，同时确保没有自定义的同名脚本干扰。用户提供的引用中提到了其他ImportError的解决方案，比如Flask的_request_ctx_stack、_ccallback_c和__version__的问题。虽然这些具体问题不同，但解决思路有共通之处：检查安装、版本、环境、依赖和模块结构。例如，引用[1]中的Flask问题可能需要升级或降级库版本，引用[2]涉及C扩展的问题可能需要重新编译安装，引用[3]中的版本导入错误可能需要重新安装pip或修复Python环境。这些经验可以借鉴到当前问题中。接下来，我需要将这些可能性整理成步骤化的解决方案，指导用户逐一排查。首先建议检查安装步骤，确认TensorRT-LLM是否正确安装；然后检查版本兼容性，查看文档确认函数是否存在；接着检查环境配置，使用虚拟环境避免冲突；最后，如果问题仍未解决，建议用户提供更多细节以便进一步排查。另外，用户可能需要生成相关问题，比如如何正确安装TensorRT-LLM，如何排查Python导入错误，或者如何处理API变更导致的错误。这些问题可以帮助用户更全面地理解和解决类似问题。</think>### 解决方案：TensorRT-LLM中无法导入`build_engine`的排查步骤 #### 1. 确认TensorRT-LLM安装正确性 **问题原因**： `ImportError: cannot import name 'build_engine'` 可能是由于TensorRT-LLM未正确安装或版本不兼容导致。 **操作步骤**： - **官方安装方式**：通过官方推荐的途径安装TensorRT-LLM。若使用源码安装，需确保构建过程完整： ```bash git clone https://github.com/NVIDIA/TensorRT-LLM.git cd TensorRT-LLM git submodule update --init --recursive mkdir build && cd build cmake .. -DTRTLLM_GPU_ARCHS="80" # 根据GPU架构调整（如A100为80，H100为90） make -j$(nproc) cd .. pip install -e . # 以开发者模式安装 ``` 注意：需安装依赖项如`CUDA Toolkit 11.8+`、`TensorRT 8.6+`、`CMake 3.18+`[^1]。 - **检查安装结果**：在Python中执行以下命令验证安装： ```python import tensorrt_llm print(tensorrt_llm.__version__) # 查看版本是否匹配 ``` #### 2. 检查版本兼容性 **问题原因**： `build_engine`可能在新版本中被弃用或移动到其他子模块。 **操作步骤**： - **查阅文档**：查看[TensorRT-LLM官方文档](https://github.com/NVIDIA/TensorRT-LLM)或[Release Notes](https://github.com/NVIDIA/TensorRT-LLM/releases)，确认`build_engine`是否存在于当前版本。 - **调整导入路径**：若函数已迁移，尝试从其他模块导入： ```python from tensorrt_llm.builder import build_engine # 示例路径，需按实际文档调整 ``` #### 3. 检查环境冲突 **问题原因**： Python环境可能包含多个版本的库或路径冲突。 **操作步骤**： - **使用虚拟环境**：创建干净的虚拟环境（推荐`conda`）： ```bash conda create -n trt_llm_env python=3.10 conda activate trt_llm_env pip install tensorrt_llm # 或按需从源码安装 ``` - **检查依赖版本**：确保关键依赖版本匹配： ```bash pip list | grep "tensorrt\|torch\|cuda" ``` TensorRT-LLM通常要求`CUDA >=11.8`、`TensorRT >=8.6.1`、`PyTorch >=2.0`[^2]。 #### 4. 验证模块路径 **问题原因**： Python可能未正确识别TensorRT-LLM的安装路径。 **操作步骤**： - **打印模块路径**：在Python中执行： ```python import tensorrt_llm print(tensorrt_llm.__file__) # 确认路径是否为预期安装位置 ``` - **手动添加路径（临时）**：若路径异常，可手动添加： ```python import sys sys.path.append("/path/to/TensorRT-LLM/install/dir") ``` #### 5. 提交Issue或联系支持若以上步骤无效，建议在[TensorRT-LLM GitHub仓库](https://github.com/NVIDIA/TensorRT-LLM/issues)提交Issue，附上： - 完整错误日志 - Python环境信息（`pip list`） - GPU型号和驱动版本（`nvidia-smi`） ---