- 博客(12)
- 收藏
- 关注
RSS订阅原创 系列教程十二 | 基于vLLM的Qwen3-8B部署与API调用实战指南
为此，vLLM 项目提供了一种高效、低延迟的推理框架，并与 OpenAI API 完全兼容，极大简化了大模型部署与调用的流程。Qwen3 模型支持两种思考模式，思考模式适合处理复杂任务，如逻辑推理、多步骤计算、结构化写作等，模型在生成回答前会进行多轮思考，模拟出“逐步分析、再输出”的过程。你需要打开一个 终端（Terminal），运行以下命令来启动 API 服务，首先设置环境变量，启动 vLLM 服务并加载 Qwen3-8B 模型，同时设置最大输入长度和 GPU 内存利用率。模型加载会需要几分钟的时间。
2025-12-23 14:00:00
821
原创 系列教程十一 | 基于SAM2的医学图像分割微调与推理实践教程
Meta 推出的 Segment Anything Model 2（SAM 2） 是图像与视频分割领域的一项开创性创新。作为 Meta 首个可实时处理图像与视频中任意对象的统一模型，SAM 2 凭借其灵活的提示机制与强大的零样本分割能力，在通用视觉场景中展现出了卓越的性能，被广泛视为通用视觉感知的重要里程碑。然而，这并不意味着 SAM 2 已经“完美无缺”。在面对医学图像、遥感影像、工业检测等高度专业化领域时，SAM 2 的开箱即用性能往往难以达到实际应用的要求。
2025-12-22 10:15:55
949
原创 系列教程十 | 基于 Wav2Vec2 的语音特征提取与识别实战教程
该任务的目标是通过对模型的合理运用，精准提取语音特征并将语音转换为文本，进而提升在语音识别、语音内容分析、有声读物转文字等领域的工作效率和应用效果。通过模型提取语音特征并可视化，进而完成语音转文本任务，成功将语音转换为对应的文本内容。绘制模型分类结果的图像，横坐标为时间轴上的帧，纵坐标为类别，通过图像可以直观地观察模型对语音数据不同帧的分类情况。将模型输出转换为可读文本，取每一时间帧概率最高的标签索引、去除连续重复索引和空白标签索引，最终将剩余索引对应的标签拼接成文本字符串，实现语音转文本的功能。
2025-12-16 11:40:02
784
原创 系列教程九 | LLaMA Factory框架微调GLM-4大模型
本项目旨在借助LLaMA Factory 框架，在 BitaHub 平台上，运用 LoRA 微调方法对 GLM-4-9B-Chat 模型进行针对性训练。该项目的目标是让模型在广告文案生成任务中，能够深度理解不同的产品特点和风格需求，生成极具吸引力且风格独特的广告文案，实现精准的风格迁移，进而提升在广告营销、内容创作等领域的应用价值。在模型训练完成后，将基础模型（GLM-4-9B-Chat ）与经过微调的模型部分进行整合，并按照指定要求导出合并后的模型，方便后续使用和部署。
2025-12-10 14:18:20
664
原创 系列教程八 | Gemma-3-4B 高效微调指南
使用unsloth库中的FastModel.get_peft_model方法，对已经加载好的model应用参数高效微调（PEFT, Parameter-Efficient Fine-Tuning）技术，通过设置不同的微调参数，让模型能在特定任务上进行更高效的微调，同时减少需要训练的参数数量，降低计算成本和内存需求。项目涵盖环境搭建、模型加载与量化、参数微调设置、聊天模板应用、数据集处理、模型训练与推理等环节，通过一系列操作，实现资源高效利用和模型性能优化，为开发者提供清晰的模型微调指南。
2025-12-01 10:29:49
999
原创 系列教程七 | 基于 GRPO 算法微调Qwen2.5-7B实现R1推理能力
为进一步优化推理能力，本教程介绍如何在 Bitahub 平台上通过 GRPO 算法（一种比 PPO 更高效的在线强化学习算法）对 Qwen2.5-7B 模型进行全参数微调。本教程使用 GRPO 算法在 Math 数据集上对 Qwen2.5-7B 模型进行了全参数微调，并取得了一定的初步效果。在新疆集群创建开发任务，模型选择是qwen2.5-7b,机器选4卡A100机器，镜像选择的是pytorch的镜像。测试集准确率（test_score）：衡量模型的整体推理性能。
2025-11-27 09:58:12
377
原创 系列教程六| 微调 Qwen2-VL：实现 LaTeX 公式 OCR 识别！
该任务的目标是使模型能够精准识别数学公式，并将其转换为可编辑的 LaTeX 代码，从而提升数学、科研、教育等领域的公式解析和编辑效率。项目使用了 Qwen2-VL-2B-Instruct 模型，Qwen2-VL系列是基于Qwen-VL框架的大规模视觉语言模型，能够动态处理不同分辨率的图像和视频，支持多语言理解和设备操作。为了微调模型，项目使用了 LoRA（Low-Rank Adaptation） 技术，这是一种高效的微调方法，可以在不改变原始模型参数的情况下，通过添加少量参数来适应新任务。
2025-11-17 13:50:46
503
原创 系列教程五: 在BitaHub上构建财报文档RAG问答
在大模型的问答应用中，垂直知识不足常常导致所谓的“幻觉”问题，即模型生成的回答可能偏离事实。RAG 通过结合大型语言模型与本地知识库，利用文档解析、索引构建及信息召回等步骤，有效提升了问答系统的准确性和可靠性。目前已经存在如 Dify、FastGPT 这样的开源平台简化了 RAG 的部署使用流程，但为了深入理解其底层机制，我们选择使用 LangChain 框架来从头开始构建一个完整的 RAG 系统。比赛里面提供了80个招股说明书的pdf文件和金融数据库，需要回答相关的问题。在页面找到rag问答项目即可。
2025-11-05 16:01:27
315
原创 系列教程四 | BLIP 模型在自定义图像描述数据集上的微调
我们将使用一个示例数据集，该数据集包含足球球员的图像和相应的标注文本。通过本教程，你将学会如何将自己的图像-文本数据集上传到 BitaHub 平台，加载和处理数据，以及在BitaHub 平台上进行模型微调。1.通过datasets库加载已上传的足球运动员数据集，执行上述代码时，会显示数据集的加载进度，完成后数据集就准备就绪。可以在BitaHub主页下载此次训练所需要的模型和数据集，并将其存入刚刚创建的文件系统当中。这是 BLIP 生成的图像描述，表明模型成功学习到了图像和文本的匹配关系。
2025-10-30 09:37:39
381
原创 系列教程三：BitaHub上部署qwen2大模型web app实践
本教程将在上一篇文章的基础上，进一步指导您如何在Bitahub平台上部署大模型Web服务，并实现本地访问。这个里面包含了下面需要的ncat文件，下载地址是https://nmap.org/download.html。这个里面port是web服务的端口号，localport是本地端口号，host是docker的机器号。在文件的设置-安全里面改成当前用户的独有权限，删除其他用户权限。模型 web代码文件，这里使用的是qwen2.5官方的web app代码。把其中的ssh命令复制出来，这个是连接ssh使用的。
2025-10-24 09:39:45
295
原创 系列教程二｜微调大模型Yi-1.5-6B-Chat
在命令行操作里，许多后续的指令都需要在项目的根目录下执行，只有进入到这个特定的目录，才能确保后续对项目文件和代码的操作是有效的。通过这一步，我们就为模型微调指定了正确的起点。Yi-1.5-6B-Chat 就是其中一款备受瞩目的模型，它基于 60 亿参数打造，在多种自然语言处理任务中表现出色，能够与用户进行高质量的对话交互，理解复杂的语义并给出精准回复。通过加载微调后的模型进行推理，我们能直接观察模型在回答问题、生成文本等任务上的表现，从而判断模型自我认知的更改是否成功，以及对话能力是否依旧保持良好。
2025-10-15 09:40:58
859
原创 系列教程1：基于Transformer的图像分类模型微调
该教程主要展示的是如何利用BitaHub平台上的GPU针对自定义数据集上的图像分类任务，对任何预训练的视觉模型进行微调。其核心思想是在预训练的编码器之上添加一个随机初始化的分类头（Classification Head），并在一个有标签的数据集上对整个模型进行微调。
2025-10-10 16:25:28
918
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人