Hoper-J的博客

这里是一份大模型入门指南，带你从API调用走进本地大模型部署和微调。

关于 OpenAI SDK 的通用知识，以 DeepSeek 聊天/推理模型为例进行演示：- 认识 API 的返回字段- 打印模型回复和每次对话的用量信息

通过 API 绕开 DeepSeek 网页对话的卡顿，提供两种配置方案：- Cherry Studio【推荐】- Chatbox

DeepSeek API 的多种获取方式与不同平台对话示例

GPT 数字系列论文精读：从 GPT-1 到 GPT-4

微调预训练模型以实现下游任务：抽取式问答。

通过阅读本文将了解以下知识：1. 预训练任务 MLM 和 NSP 是什么？2. BERT 模型的输入和输出，以及一些与 Transformer 不同的地方。3. 以 $\text{BERT}_\text{BASE}$ 为例，计算模型的总参数量。...

梯度累积的数学公式和 PyTorch 代码实现

了解随机梯度下降/批量梯度下降/小批量梯度下降之间的区别

了解 Epoch/Batch/Step 之间的关系

介绍一些 docker 可能用到的基础命令，并解决三个常见报错：- 权限被拒绝（Permission Denied）- 无法连接到 Docker 仓库（Timeout Exceeded）- 磁盘空间不足（No Space Left on Device）

用两行命令快速搭建深度学习环境（Docker）。

通过代码了解 nn.Embedding() 和 nn.Linear() 的区别

“白嫖”免费 GPU 的图文攻略。

了解嵌入（Embedding）到底是什么？并可视化它。

Transformer论文精读和从零开始的完整代码复现（PyTorch），超长文预警！将介绍模型架构中的所有组件，并解答可能的困惑

对比学习的基础论文：Inst Disc，InstSpread，MoCo 和 SimCLR。

了解 Tokenizer 的基本操作。了解常见的子词分割方法：BPE 和 WordPiece。了解注意力掩码（Attention Mask）和词元类型 ID （Token Type IDs）。

本文将使用 Transformers 和 LangChain 演示 RAG 的工作流程。你还将了解 RecursiveCharacterTextSplitter 的递归工作原理。

AI/LLM 大模型入门指南相关的命令行脚本1. AI Summarizer AI 视频/音频/字幕摘要。2. AI ChatAI 对话。

（无需显卡）使用 Llama-cpp-python 在本地加载具有 70 亿参数的 LLM 大语言模型，通过这篇文章你将学会用代码创建属于自己的 GPT。

（无需显卡）使用 Transformers 在本地加载具有 70 亿参数的 LLM 大语言模型，通过这篇文章你将学会用代码创建属于自己的 GPT。

这里解决的是使用 Auto-GPTQ 或者 Transformers 导入 GPTQ 模型后推理速度很慢的问题。

- 了解 Transformers 关于 GGUF 的新特性。- 使用 Transformers/Llama-cpp-python/Ollama 加载 GGUF 格式的模型文件。- 学会合并分片的 GGUF 文件。- 解决 LLama-cpp-python 无法 offload 的问题。

1. 简单了解 RTN、GPTQ、AWQ 和 GGUF（GGML）。2. 理解 PPL（Perplexity）是什么。3. 掌握 GGUF（GGML）文件的命名规则。4. 认识 k-quants 量化方法。5. 分清 Q4_0、Q4_1、Q4_K 和 Q4_K_M。

最基础的 RTN 模型量化的背后究竟做了什么？本文将以 INT8 为例，结合计算和代码演示，向你展示其中的一些原理。

总得拆开炼丹炉看看是什么样的。这篇文章将带你从代码层面一步步实现 AI 文本生成图像（Text-to-Image）中的 LoRA 微调过程，你将：- 了解 **Trigger Words**（触发词）到底是什么，以及它们如何影响生成结果。- 掌握 LoRA 微调的基本原理。- 学习数据集的准备与结构，并知道如何根据需求定制自己的数据集。- 理解 Stable Diffusion 模型的微调步骤。- 明白在画图界面（UI）下到底发生了什么。- 使用代码实现 AI 绘画。

训练一个神经网络可能需要数小时甚至数天的时间，你需要认知到一点：时间是非常宝贵的，目前3090云服务器租赁一天的价格为 37.92 元。如果你的代码没有保存模型的模块，那就先不要开始，因为不保存基本等于没跑，你的效果再好也没有办法直接呈现给别人。

你一定会在未来的某个时刻有这个需求，因为实在是太占空间了，如果你热衷于试验不同的模型，或许一个星期之后你就会发现自己的磁盘开始报警。

本文旨在帮助你快速了解和查阅常用的命令行指令，尤其是项目中可能用到的命令。

尝试做一个属于你自己的AI视频总结/摘要小助手！这并不难，即便你不懂任何深度学习的知识，也完全可以做到。

你将了解到：peft 和 lora 之间有什么关系？get_peft_model 怎么使用？如何知道应用 LoRA 后模型的参数变化量？如何使用 `merge_and_unload()` 合并 LoRA 权重？认识报错：`TypeError: Expected state_dict to be dict-like...`

这里不需要理解代码，可以当作休闲时的一次有趣探索。

本文将介绍 Inseq，这是一个用于解释和可视化序列生成模型输出的工具。我们将通过翻译任务（关注整个序列）和文本生成任务（关注前面的词）来演示如何使用 Inseq 来了解输入文本的哪些部分对模型生成下一个单词的影响最大。

在本文中，我们将利用 DPO 来微调一个模型让其按照偏好进行输出。

这里是李宏毅老师2024年生成式人工智能导论的大陆镜像版的索引文章，你可以在不翻墙的情况下完成课程的所有作业。制作与分享已经获得李宏毅老师的授权，非常感谢老师！

Hugging Face 默认的下载实在是太慢了，使用多线程的方式加速它！

什么是 Top-K 和 Top-P 采样？Temperature 对模型生成结果的影响是怎么样的？

深入理解 Beam Search：原理, 示例与代码实现

展示如何去微调一个大型语言模型，增强解决特定任务的能力。