qq_42427964的博客

原创 MDeploy 量化部署进阶实践

可以看到文件夹里面的1.8b模型从原来的3.6G->1.5G 少了2.1G部署1.8b模型显存为20.6G:检查部署 1.8b W4A16后显存为 为20.9GB：原来的1.8b模型显存计算：1810^9经过W4A16后 把权重变为int4类型 所以3.6GB/4(16位->4位:3.6/4) 所以显存为3.6/4 + (24 - 3.6/4)*0.8 + 1 = 20.38GB可以看到对于小模型 用W4A16量化不能显著减小显存。

原创 Lagent 自定义你的 Agent 智能体

开发机选择 30% A100，镜像选择为 Cuda12.2-conda。首先来为 Lagent 配置一个可用的环境。

原创 Lagent 自定义你的 Agent 智能体

原创 XTuner 微调个人小助手认知任务

微调前。

原创 llamaindex+Internlm2 RAG实践

对比两种注入知识方式，第二种更容易实现。RAG正是这种方式。它能够让基础模型实现非参数知识更新，无需训练就可以掌握新领域的知识。本次课程选用了LlamaIndex框架。LlamaIndex 是一个上下文增强的 LLM 框架，旨在通过将其与特定上下文数据集集成，增强大型语言模型（LLMs）的能力。它允许您构建应用程序，既利用 LLMs 的优势，又融入您的私有或领域特定信息。

原创 浦语提示词实践

安装tmux 终端管理 可以在本地机断联的时候 远程开发及仍在执行终端。

原创 8G 显存玩转书生大模型 Demo

把远程开发机上所有的python安装包手动删除conda也手动删除然后重新安装miniconda3终端中下载miniconda3安装程序然后安装安装后激活conda环境检查conda安装PS: 如果安装时候选择了conda基础环境手动激活则需要每次打开终端激活基础环境$(conda init然后运行这样每次都自动进入base环境。。。。创建demo环境 安装相关的依赖包# 创建环境# 激活环境# 安装 torch# 安装其他依赖。。。。

原创 书生大模型全链路开源开放体系

致力于大模型研究与开发工具链的开源组织。为所有 AI 开发者提供高效、易用的开源平台，让最前沿的大模型与算法技术触手可及。

原创 git前置基础

创建新的fork。

原创 Python基础： VSCode进行远程连接并在远程开发机上编写程序和debug

1.VSCode按照Remote SSH 插件2. 添加远程连接输入SSH登录指令3. 输入密码（注意由于周期之前已经添加过SSH公钥,因此4. 给开发机按照上插件: python python debugger jupyter5. 新建python文件。

原创 实现一个wordcount函数，统计英文字符串中每个单词出现的次数。返回一个字典，key为单词，value为对应单词出现的次数

示例：输出。

原创 Linux基础：SSH连接和端口映射

连接成功查看：(注意：是exit SSH连接后 进行到C的user界面）重启终端后无需密码 就可以连接了：它可以将外网中的任意端口映射到内网中的相应端口，实现内网与外网之间的通信。通过端口映射，可以在外网访问内网中的服务或应用，实现跨越网络的便捷通信。当在个人PC上执行这个SSH命令后，SSH客户端会在本地机器的7860端口上监听。任何发送到本地7860端口的流量，都会被SSH隧道转发到远程服务器的127.0.0.1地址上的7860端口。输入密码如果不进行端口映射在web demo里面

原创 VScode python更改解释器（虚拟环境）

输入python interpreter。

原创 os.path和sys.path区别和在vscode里面设setting.json可以直接导入在 src 目录下或者工作区根目录下的模块，而无需将这些目录添加到 sys.path 中或使用相对导入

这里是 “Python: Current File”，表示该配置将用于调试当前打开的 Python 文件。总的来说，这个配置文件使得在 VSCode 中可以方便地调试 Python 程序，同时提供了一些特定的调试选项和环境配置。这里是 “integratedTerminal”，表示在集成的终端中运行，而不是外部终端。在这里是 “0.2.0”，这通常是一个约定，不影响具体的调试设置。在这里是 “python”，指明这是一个 Python 调试配置。这里是 “launch”，表示要启动一个新的调试会话。

原创 不同坐标系梯度转换

https://wood-celestite-b69.notion.site/Del-daf075ab4ffb4eeea480e94f291009d2