- 博客(17)
- 收藏
- 关注
RSS订阅原创 SCNet超算互联网LLM微调与部署（2026.8.9）
SCNet超算互联网，试用，海光的国产CPU（x86）+国产GPU（异构加速卡DPU），pytorch深度学习，CPU 2*7490 64C记录一下常用命令，和各个文件存在哪里。
2026-08-09 08:15:45
203
原创 datawhale：Happy-LLM 打卡-Task05：3.2与3.3（Encoder-Decoder架构、Decoder-only架构及相关模型）
对Encoder-Decoder架构、Decoder-only架构仅解码器架构描述，介绍了2种主要的Encoder-Decoder架构模型（T5、BART）与3种主要的Decoder-only架构模型（GPT、 LLaMA、GLM）。所以首先对“多头放缩点积掩码自注意力机制”进行回顾，然后对解码器模块进行分析，然后以Encoder-Decoder、Decoder-only概念模型作为主要研究对象分析，并梳理Encoder-Decoder、Encoder-only相关模型
2026-06-28 07:00:00
231
原创 datawhale：Happy-LLM 打卡-Task04：3.1Encoder-onlyPLM仅编码预训练模型（NLP预训练模型、Encoder-only架构）
datawhale：Happy-LLM 打卡-Task04：3.1Encoder-onlyPLM仅编码预训练模型（NLP预训练模型、Encoder-only架构）首先对“多头放缩点积自注意力机制”进行回顾，然后对编码器模块进行分析，再对NLP预训练模型进行一定的梳理，然后以Encoder-only概念模型作为主要研究对象分析，并梳理Encoder-only相关模型的研究。
2026-06-25 12:15:31
246
原创 datawhale：Happy-LLM 打卡-Task03：2.3搭建一个Transformer（tokenizer分词器、Embedding 层token嵌入、位置编码、输出头）
datawhale：Happy-LLM 打卡-Task03：2.3搭建一个Transformer（tokenizer分词器、Embedding 层token嵌入、位置编码、输出头）该部分主要就是对“输入、输出”部分一些细节的补充了，自然语言如何变成token矩阵然后输入Task02打卡中的结构里运算，再如何转换回自然语言。主要涉及到tokenizer分词器、Embedding 层（token嵌入）、位置编码、输出头。
2026-06-24 13:05:05
242
原创 datawhale：Happy-LLM 打卡-Task02：注意力机制与Transformer的Encoder-Decoder架构《Attention Is All You Need》
datawhale：Happy-LLM 打卡-Task02：注意力机制与Transformer的Encoder-Decoder架构梳理了缩放点积注意力、多头注意力与注意力模块（自注意力、掩码自注意力、交叉注意力），以及Transformer典型架构。并对Transformer架构神经网络核心部分（前馈神经网络、层归一化、残差连接）进行了简要总结。Transformer与《Attention Is All You Need》论文解读
2026-06-21 22:26:29
197
原创 datawhale：Happy-LLM 打卡-Task01：第一章NLP基础概念
datawhale：Happy-LLM 打卡-Task01：第一章NLP基础概念从“语言处理”与“文本表示”两方面进行总结探讨了“语言处理”与“自然语言”、“编程语言”的关系，以及文本数字化表示的发展历程
2026-06-15 17:21:37
222
原创 SCNet超算互联网深度学习使用（2025.11.10）
文介绍了SCNet超算互联网平台的国产异构加速卡使用体验。作者转向使用SCNet提供的16GB显存国产DPU加速卡，详细记录了平台操作流程：通过登录节点传输文件和解压数据，在业务节点创建容器实例运行PyTorch深度学习任务。重点讲解了使用Jupyter和SSH双终端配合screen工具实现后台训练的方法，包括环境配置、镜像保存、虚拟终端管理及进程监控等实用技巧。文章为想要使用国产算力资源的用户提供了实际操作指南，展示了从本地迁移到国产加速卡环境的完整流程。
2025-11-10 22:59:40
4078
4
原创 GitCode提交配置（中文用户名）
GitCode项目提交指南（针对中文用户名） 本文记录了中文用户名用户首次使用Git向GitCode提交项目的完整流程，重点解决了中文路径导致的问题。操作步骤包括： 安装Git：完成基础环境配置 SSH密钥处理： 创建英文路径（如C:\Users\youyi.ssh） 通过指定路径生成密钥（-f参数需与英文路径一致） 将公钥添加到GitCode 用户绑定：通过Git Bash配置用户信息 本地仓库操作： git init初始化 git add添加文件（注意LF/CRLF警告） git commit提交更改
2025-05-27 17:26:21
1370
2
原创 pywebio 流式输出，显示为markdown（一）
pywebio作为一个简单易用的前端框架，可以有效与Python生态结合，用于快速开发信息系统，随着大型语言模型兴起，考虑使用pywebio流式输出显示，并最终渲染为markdown，做一个简单的交互界面。首先总结了作者的实现思路与精简代码，然后结合交互界面经验进行改进，此外编写了与LLM服务器交互部分以及测试代码。最后参考中有一篇研究人类阅读速度的文章，可以作为LLM推理速度、交互界面显示速度（人机工程）的参考。
2025-02-09 19:59:03
1671
原创 ollama下载、安装与简单使用（windows10虚拟机）
Ollama下载、安装与简单使用（windows10虚拟机）围绕Ollama这一“大模型部署推理”利器，简单介绍了Ollama生态，然后说明了Ollama下载与安装，以及模型的安装方式（直接安装、GGUF导入、其他）与命令行简单使用，最后说明了Ollama的API简单使用、常用命令与应用集成问题。
2025-02-08 23:51:45
2639
1
原创 大模型环境安装
因为之前用的Python版本一直是3.8，已经不支持了，一些底层逻辑没法用新技术集成，所以重装为3.12版本Python，并重新搭建支持GPU的大模型（ModelScope、transformers、torch2.3.0+cu118）环境。
2025-02-06 23:32:18
894
原创 LLM部署，并发控制，流式响应（Python，Qwen2+FastAPI）
本文实现了工程实践下并发控制下LLM服务器部署并提供流式响应。使得LLM服务器可以同时处理多个请求，并实现“当请求达到一定数量后，直接拒绝后续的推理请求”功能，防止服务器过载以及排队时间过长影响用户体验（直接告知服务器繁忙）。此外，对于较为复杂的问题（推理复杂、文本过长）生成回答，在并发架构下实现了“边推理便输出内容”的“流式响应”，可有效提高用户体验，优化人机交互实现。使用Python+Qwen2+FastAPI
2024-07-14 21:30:52
11439
16
原创 3050ti、Win10配置Keras2.10（tensorflow-GPU版本）
3050ti、Win10配置Keras2.10（tensorflow-GPU版本）
2024-01-03 19:46:13
2356
3
原创 华为云HECS(云耀云服务器)安装openGauss数据库
在华为云的云耀服务器（Huawei Cloud EulerOS 2.0）安装openGauss（RPM方式，轻量版）
2023-04-11 01:04:44
2253
1
原创 华为云x86_64 openEuler 20.03 64bit 部署Python-web
华为云x86_64 openEuler 20.03 64bit 部署Python-web
2023-02-21 22:43:39
837
原创 pyinstaller打包项目为exe（pywebio、pyecharts、rapidocr等等持续更新）
conda虚拟环境下pyinstaller打包项目为exe（pywebio、pyecharts、rapidocr等）
2022-07-16 16:35:27
1158
7
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人