悠_逸-优快云博客

原创 SCNet超算互联网深度学习使用（2025.11.10）

文介绍了SCNet超算互联网平台的国产异构加速卡使用体验。作者转向使用SCNet提供的16GB显存国产DPU加速卡，详细记录了平台操作流程：通过登录节点传输文件和解压数据，在业务节点创建容器实例运行PyTorch深度学习任务。重点讲解了使用Jupyter和SSH双终端配合screen工具实现后台训练的方法，包括环境配置、镜像保存、虚拟终端管理及进程监控等实用技巧。文章为想要使用国产算力资源的用户提供了实际操作指南，展示了从本地迁移到国产加速卡环境的完整流程。

2025-11-10 22:59:40 1268 2

原创 GitCode提交配置（中文用户名）

GitCode项目提交指南（针对中文用户名）本文记录了中文用户名用户首次使用Git向GitCode提交项目的完整流程，重点解决了中文路径导致的问题。操作步骤包括：安装Git：完成基础环境配置 SSH密钥处理：创建英文路径（如C:\Users\youyi.ssh）通过指定路径生成密钥（-f参数需与英文路径一致）将公钥添加到GitCode 用户绑定：通过Git Bash配置用户信息本地仓库操作： git init初始化 git add添加文件（注意LF/CRLF警告） git commit提交更改

2025-05-27 17:26:21 1178

原创 pywebio 流式输出，显示为markdown（一）

pywebio作为一个简单易用的前端框架，可以有效与Python生态结合，用于快速开发信息系统，随着大型语言模型兴起，考虑使用pywebio流式输出显示，并最终渲染为markdown，做一个简单的交互界面。首先总结了作者的实现思路与精简代码，然后结合交互界面经验进行改进，此外编写了与LLM服务器交互部分以及测试代码。最后参考中有一篇研究人类阅读速度的文章，可以作为LLM推理速度、交互界面显示速度（人机工程）的参考。

2025-02-09 19:59:03 1516

原创 ollama下载、安装与简单使用（windows10虚拟机）

Ollama下载、安装与简单使用（windows10虚拟机）围绕Ollama这一“大模型部署推理”利器，简单介绍了Ollama生态，然后说明了Ollama下载与安装，以及模型的安装方式（直接安装、GGUF导入、其他）与命令行简单使用，最后说明了Ollama的API简单使用、常用命令与应用集成问题。

2025-02-08 23:51:45 1848 1

原创大模型环境安装

因为之前用的Python版本一直是3.8，已经不支持了，一些底层逻辑没法用新技术集成，所以重装为3.12版本Python，并重新搭建支持GPU的大模型（ModelScope、transformers、torch2.3.0+cu118）环境。

2025-02-06 23:32:18 773

原创 LLM部署，并发控制，流式响应（Python，Qwen2+FastAPI）

本文实现了工程实践下并发控制下LLM服务器部署并提供流式响应。使得LLM服务器可以同时处理多个请求，并实现“当请求达到一定数量后，直接拒绝后续的推理请求”功能，防止服务器过载以及排队时间过长影响用户体验（直接告知服务器繁忙）。此外，对于较为复杂的问题（推理复杂、文本过长）生成回答，在并发架构下实现了“边推理便输出内容”的“流式响应”，可有效提高用户体验，优化人机交互实现。使用Python+Qwen2+FastAPI

2024-07-14 21:30:52 10934 16