LLM notes

最新推荐文章于 2025-11-26 15:40:52 发布
原创 最新推荐文章于 2025-11-26 15:40:52 发布 · 202 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#python

Qwen

Qwen2.5-VL

11

预训练包含三个阶段：视觉预训练: 仅训练 ViT，使用图像标题、视觉知识和 OCR 数据。
多模态预训练: 解冻所有模型参数，使用交错数据、VQA、视频、智能体等多种数据。
长上下文预训练: 引入视频、智能体数据，并增加序列长度。

Llama

大型模型技术栈概述-LM Notes.zip
10-18
LLM Notes作为本次探讨的焦点，其内容应该涉及模型架构、数据处理、训练方法、优化技术、推理部署等方面。LM Notes-master文件可能包含了这些方面的详细说明和指导，例如模型架构可能会详细介绍transformer架构、其...
LLM合成数据notes
不问归处
07-14 240
使用guard_model_path=“meta-llama/Meta-Llama-Guard-2-8B”，reward_model_path=“sfairXC/FsfairX-LLaMA3-RM-v0.1"等调用api对生成数据进行安全性、奖励、质量、难度等打分，再筛选符合要求的数据。ps：看任务，我自己用reward-model-deberta-v3-large-v2测的分数感觉不行，做不了筛选。，再进行微调，微调后对LLM结果进行筛选低分，再补充表现不佳的数据进行SFT。使用RougeL分数去重。
LLM&RL notes
不问归处
07-14 197
努力学习🀄️Critic模型：用于价值函数估计Reward模型：用于奖励信号计算RewardBySimilarity模型：基于相似度的奖励模型代码里Critic模型继承ChatGLM-6B模型，确保与Action模型（生成模型）使用相同的词表；大幅减少层数（从原来的28层减少到1层）来降低模型大小；添加线性层输出价值分数：self.output_linear = nn.Linear(self.model.hidden_size, 1)使用tanh激活函数将分数限制在[-1,1]之间。
Hybrid LLM Parallelism
连理o的博客
07-08 1026
Notes on Distributed LLM Inference
notes for llm-universe C1
2301_81944256的博客
06-17 1523
LLM 有时会产生与客观事实不符的信息，导致用户接收到的信息不准确。RAG 通过检索数据源，辅助模型生成过程，确保输出内容的精确性和可信度，减少信息偏差。LLM 基于静态的数据集训练，这可能导致模型的知识更新滞后，无法及时反映最新的信息动态。RAG 通过实时检索最新数据，保持内容的时效性，确保信息的持续更新和准确性。LLM 生成的内容往往缺乏明确的信息来源，影响内容的可信度。RAG 将生成内容与检索到的原始资料建立链接，增强了内容的可追溯性，从而提升了用户对生成内容的信任度。
notes for llm-universe C2
2301_81944256的博客
06-20 1072
Prompt 最初是 NLP（自然语言处理）研究者为下游任务设计出来的一种任务专属的输入模板，类似于一种任务（例如：分类，聚类等）会对应一种 Prompt我们每一次访问大模型的输入为一个 Prompt，而大模型给我们的返回结果则被称为 Completion。
notes for llm-universe C5
2301_81944256的博客
06-29 1039
现在，我们已经构建了一个简单的、一般化的大模型应用。以调用、发挥大模型为核心的大模型开发相较传统的 AI 开发更注重验证迭代因此，在使用 LLM 构建应用程序时，你可能会经历以下流程：首先，你会在一到三个样本的小样本中调整 Prompt ，尝试使其在这些样本上起效。随后，当你对系统进行进一步测试时，可能会遇到一些棘手的例子，这些例子无法通过 Prompt 或者算法解决。这就是使用 LLM 构建应用程序的开发者所面临的挑战。
0-LLM学习环境配置
ecjfang的博客
07-23 1361
conda 环境介绍：安装完anaconda后，默认有一个base环境，刚开始学就用base环境就ok了。如果之后有别的需要，比如想换一个python版本，可以考虑创建一个新的conda环境（可以想象成一个新的虚拟机）A: （1）感觉pip用得更多，很多Python项目的README文档中都是用pip进行依赖包的安装；配置国内包的镜像源：打开Anaconda Prompt (anaconda3)，输入下列命令。（2）在Anaconda Prompt (anaconda3)中输入。输入token后登录。
notes for llm-universe C4
2301_81944256的博客
06-26 705
Streamlit是一个用于快速创建数据应用程序的开源 Python 库。它的设计目标是让数据科学家能够轻松地将数据分析和机器学习模型转化为具有交互性的 Web 应用程序，而无需深入了解 Web 开发。它不需要你去编写任何客户端代码（HTML/CSS/JS），只需要编写普通的 Python 模块Streamlit 提供了一组简单而强大的基础模块，用于构建数据应用程序：st.write()：这是最基本的模块之一，用于在应用程序中呈现文本、图像、表格等内容。
LLM统一接口
galileo2016的博客
12-13 468
OpenAI 接口接入适配，支持千帆大模型平台、讯飞星火大模型、腾讯混元以及MiniMax、Deep-Seek，等兼容OpenAI接口，仅单可执行文件，配置超级简单，一键部署，开箱即用。
【LLM4医疗】医疗AI大模型汇总
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
12-24 2170
因为关注AI在医疗上的应用，尤其近期GPT模型的爆发和热潮，于是汇总下LLM4医疗的相关研究进展。
【LLMs篇】08：LLM推理加速的方法与实践
u013010473的博客
03-24 1654
大语言模型（LLM）的强大能力伴随着高昂的推理成本。在推理阶段，LLM需要逐字逐句地自回归生成文本，这导致计算延迟高、内存占用大、吞吐低等挑战
大语言模型 LLM 通过 Excel 知识库 增强日志分析，根因分析能力的技术方案（4）：只要过一遍LLM的简约版本
shiter编写程序的艺术
08-03 1653
松散升级版本地知识库方案 核心设计 统一数据加载：支持Excel/CSV/JSON/TXT/SQLite等多种格式，自动转换为DataFrame 灵活查询方式： 精确键值查询 模糊匹配(difflib) 全文检索(SQLite FTS5) 最小依赖：仅需pandas和openpyxl两个第三方库 一次LLM调用：查询结果直接拼入prompt 实现流程 数据加载：通过load_any_source()统一处理不同格式数据源 查询处理：提供三种查询模式： exact：精确匹配 fuzzy：模糊匹配 fullte
Java总结进阶之路 （基础二 ）
2509_94006474的博客
11-24 842
提示：java总结学习之路。
Python在机器学习中的模型训练
2509_93937153的博客
11-26 359
上周对比SVM和随机森林时，用Pipeline把预处理和训练步骤串起来，cross_val_score直接出十折交叉验证结果，整个实验可复现性极高。数据预处理这块绝对是重头戏。最近在做回归项目，r2_score和mean_squared_error这几个指标函数随调随用，省去了自己实现的麻烦。但平心而论，在常规业务场景下，从数据探索到模型上线的整个生命周期，Python的生态链确实做到了无缝衔接。很多库的默认参数就够用，想要精细调控又能深入底层，这种灵活性才是我们坚持用Python搞机器学习的根本原因。
Python自动化测试框架开发
最新发布
2509_93945719的博客
11-26 524
封装requests时踩过坑，最初简单包装成通用方法，后来发现不同模块需要不同的超时策略和重试机制。框架开发过程中最大的体会是：好的设计不是一次性完成的，而是在不断踩坑、重构中迭代出来的。记住，自动化测试的终极目标不是追求100%覆盖率，而是用最小成本快速发现质量问题。最直观的变化是测试周期从原来的3天缩短到8小时，版本发布再也不用全员熬夜了。pytest的夹具机制比unittest灵活太多，特别是parametrize参数化，能轻松实现数据驱动。决定动手搭个统一的测试框架，把乱七八糟的脚本规范起来。
15：00开始面试，15：06就出来了，问的问题有点变态。。。
2301_78843735的博客
11-24 664
【摘要】本文分享了一位软件测试工程师的求职经历和面试经验。文章首先描述了作者遭遇降薪后寻求新工作的过程，并反思了在面试中因基础知识不足而失利的情况。随后系统整理了软件测试岗位的常见面试知识点，涵盖16个技术栈：包括测试理论、Linux、MySQL、Web/API/App测试、Python基础、性能测试等核心内容。其中详细列举了各技术栈的高频面试题，如测试步骤设计、Linux命令使用、Python编程题、MySQL优化等。最后提到完整的面试宝典包含近200页内容，旨在帮助求职者高效准备面试，提升通过率。
收藏！软件测试面试题
2401_86705770的博客
11-26 297
作为一位过来人也是希望大家少走一些弯路，如果你不想再体验一次学习时找不到资料，没人解答问题，坚持几天便放弃的感受的话，在这里我给大家分享一些自动化测试的学习资源，希望能给你前进的路上带来帮助。
Python全栈开发项目——AI智能聊天机器人
qiao_yue的博客
11-24 823
本项目实现了AI聊天功能，具有语音输入和聊天背景自定义等亮点功能
PyTorch 2.3与TensorFlow 2.16在LLM训练中的性能对比如何？
07-05
我们正在比较PyTorch 2.3和TensorFlow 2.16在大规模语言模型（LLM）训练中的性能差异。根据用户提供的引用，我们注意到引用[3]中提到了使用LoRA微调LLaMA-3-8B模型，这可以作为我们讨论的一个具体场景。同时，引用[1...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值