LLM
关注
分享
扫一扫
文章平均质量分 91
LLM 大模型相关
BIT_666
天道酬勤，厚积薄发
展开
-
LLM - GQA 之 Group Query Attention 论文与源码精读
GQA 之 Group Query Attention 详解。原创 2024-08-06 10:14:11 · 1180 阅读 · 0 评论 -
LLM - 模型下载与 git-lfs 安装
Linux 安装 git lfs 并下载 LLM 模型。原创 2024-05-29 15:11:09 · 725 阅读 · 1 评论 -
LLM - Qwen-VL 视觉模型初体验
Qwen-VL 大模型视觉语言模型尝试。原创 2024-05-22 13:45:13 · 923 阅读 · 0 评论 -
LLM - Generate With KV-Cache 图解与实践 By GPT-2
LLM Generate With KV-Cache 图解与实践 By GPT-2原创 2024-05-13 10:30:00 · 2380 阅读 · 2 评论 -
LLM - 长文本总结处理方案
LLM 长文总结常用方法。原创 2024-04-25 15:02:32 · 6334 阅读 · 1 评论 -
LLM - Get Sample Token Hist For Train / Test 获取批次样本 token 长度分布
获取批次样本 token 长度分布。原创 2024-04-23 11:43:45 · 1040 阅读 · 0 评论 -
LLM - 通过 PagedAttention 轻松、快速、廉价的提供 LLM 服务 - vLLM
vLLM - 通过 PagedAttention 轻松、快速、廉价的提供 LLM 服务。原创 2024-04-19 10:30:00 · 1135 阅读 · 0 评论 -
LLM - GPU 定期监控程序与 Metric 可视化
LLM 训练、推理阶段 GPU 指标监控与可视化。原创 2024-04-18 10:30:00 · 957 阅读 · 0 评论 -
LLM - BGE M3-Embedding 一种高效可靠的向量模型
M3-Embedding 论文细节阅读与分析。原创 2024-04-15 10:30:00 · 3830 阅读 · 0 评论 -
LLM - Ruozhiba ＜Quality＞ is All You Need
高质量中文 Fine-Tuning 数据探索。原创 2024-04-09 20:24:14 · 1043 阅读 · 0 评论 -
LLM - Whitening Sentence Representations for Better Semantics and Faster Retrieval 用于更好语义更快检索的句子白化操作
特征白化在向量检索和降维的探索。原创 2024-04-09 09:00:00 · 1101 阅读 · 0 评论 -
LLM - Weight-Decomposed Low-Rank Adaptation 之 DoRA
Weight-Decomposed Low-Rank Adaptation 之 DoRA 论文详解。原创 2024-04-01 10:30:00 · 1259 阅读 · 0 评论 -
LLM - 具有 IO 感知的快速内存高效精确计算 FlashAttention
具有 IO 感知的快速内存高效精确计算 FlashAttention 简介。原创 2024-03-12 10:11:24 · 999 阅读 · 0 评论 -
LLM - 基于 Hupu 数据利用 LLM 构建一个评分模型
利用 Hupu 评分数据构建 LLM 评分模型。原创 2024-03-08 09:58:15 · 1140 阅读 · 2 评论 -
LLM - 使用 Langchain 实现本地 Naive RAG
LLM 基于 Python Langchain 构建本地知识库。原创 2024-03-07 14:17:38 · 2300 阅读 · 0 评论 -
LLM - RAG 大型语言模型的检索增强生成研究综述
LLM RAG 检索增强调研。原创 2024-03-05 14:13:47 · 2636 阅读 · 0 评论 -
LLM - Transformer && Multi-Head Attention 维度变化与源码详解
Transformer && Multi-Head Attention 维度变化与源码详解。原创 2024-02-21 08:00:00 · 2166 阅读 · 4 评论 -
LLM - Qwen-72B LoRA 训练与推理实战
LLM Qwen-72B 简介与 LoRA 微调、推理。原创 2024-02-05 10:21:32 · 9350 阅读 · 15 评论 -
LLM - 大模型速递之 Yi-34B 入门与 LoRA 微调
零一万物 Yi-34B-Chat 模型简介与 LoRA 实战。原创 2023-12-18 08:00:00 · 4106 阅读 · 0 评论 -
LLM - 训练与推理过程中的 GPU 算力评估
LLM 训练、推理流程中 GPU 算力的计算。原创 2023-10-31 23:03:27 · 13689 阅读 · 5 评论 -
LLM - 旋转位置编码 RoPE 代码详解
旋转位置编码 RoPE 代码详解与复现。原创 2023-10-12 08:00:00 · 4308 阅读 · 11 评论 -
LLM - FastAPI 搭建简易问答 Server
使用 FastAPI 部署简易 LLM 问答 Server。原创 2023-10-08 08:00:00 · 1510 阅读 · 0 评论 -
LLM - 通俗理解位置编码与 RoPE
RoPE 旋转位置编码通俗解释。原创 2023-09-26 17:41:17 · 3257 阅读 · 2 评论 -
LLM - Make Causal Mask 构造因果关系掩码
LLM MakeCausalMask 构造因果关系掩码函数解析。原创 2023-09-25 14:27:54 · 4876 阅读 · 4 评论 -
LLM - 大模型速递 InternLM-20B 快速入门
InternLM-20B 大模型初体验。原创 2023-09-22 11:48:31 · 1288 阅读 · 0 评论 -
LLM - 大模型技术报告与训练细节 By Baichuan2
Baichuan2 模型技术报告整理与心得体会。原创 2023-09-21 08:00:00 · 2937 阅读 · 0 评论 -
LLM - SFT workflow 微调工作流程
LLM SFT 有监督微调 workflow 工作流详解。原创 2023-09-14 08:00:00 · 1135 阅读 · 0 评论 -
LLM - 数据处理之 Process Dataset For LLM With PT、SFT、RM
基于 PT、SFT、RM 的 Dataset 预处理。原创 2023-09-13 08:00:00 · 1975 阅读 · 0 评论 -
LLM - 批量加载 dataset 并合并
LLM dataset 批量加载 dataset 并合并。原创 2023-09-12 11:39:36 · 1913 阅读 · 0 评论 -
LLM - Model、Data、Training、Generate Agruments 超参解析
使用 transformers.HfArgumentParser 对大模型脚本进行超参解析。原创 2023-09-08 11:51:41 · 1370 阅读 · 3 评论 -
LLM - 大模型速递 Baichuan2 快速入门
百川最新模型 Baichuan2 体验与测试。原创 2023-09-07 11:09:00 · 3687 阅读 · 10 评论 -
LLM - LLaMA-2 获取文本向量并计算 Cos 相似度
基于 Cos 和 BERT-whitening 特征白化的大模型输出文本 Embeding 相似度评估。原创 2023-09-01 11:05:42 · 8436 阅读 · 15 评论 -
LLM - Baichuan-13B 多卡加载与推理测试
大模型量化加载与多卡推理配置与实践。原创 2023-08-29 08:00:00 · 9312 阅读 · 15 评论 -
LLM - Model Load_in_8bit For LLaMA
LLaMA 8bit 量化加载尝试。原创 2023-08-28 08:00:00 · 4941 阅读 · 8 评论 -
LLM - 大模型评估指标之 ROUGE
LLM 评价指标之 ROUGE SCORE。原创 2023-08-18 08:00:00 · 6962 阅读 · 1 评论 -
LLM - 大模型评估指标之 BLEU
LLM 指标评估之 BLEU 双语评估替身。原创 2023-08-17 15:56:58 · 1851 阅读 · 0 评论 -
LLM - argparse 解析脚本参数
python 使用 argparse 类解析参数。原创 2023-08-11 11:09:20 · 308 阅读 · 0 评论 -
LLM - CUDA out of memory. 到底怎么事
torch.cuda.OutOfMemoryError: CUDA out of memory. 报错日志分析与解决。原创 2023-08-10 08:00:00 · 3076 阅读 · 2 评论 -
LLM - Transformer && LLaMA2 结构分析与 LoRA 详解
Transformer、LLaMA-2 以及 LoRA的一些基础知识。原创 2023-08-08 10:21:42 · 23704 阅读 · 22 评论 -
LLM - LoRA 模型合并与保存
LoRA 模型 merge_and_unload 合并与保存。原创 2023-08-03 08:00:00 · 27749 阅读 · 32 评论