<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[sunnygirl's house]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/u014090429</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; u014090429]]></copyright><item><title><![CDATA[Fastchat负载均衡策略（二）]]></title><link>https://blog.youkuaiyun.com/u014090429/article/details/139262219</link><guid>https://blog.youkuaiyun.com/u014090429/article/details/139262219</guid><author>u014090429</author><pubDate>Tue, 28 May 2024 11:37:29 +0800</pubDate><description><![CDATA[负载均衡指的是将用户请求分摊到不同的服务器（worker）上处理，以提高系统整体的并发处理能力以及可靠性。负载均衡的示意图如图 1 所示：常见的负载均衡算法（参考自《负载均衡原理及算法详解随机法：随机分配一台服务器。如果没有配置权重的话，所有的服务器被访问到的概率都是相同的。如果配置权重的话，权重越高的服务器被访问的概率就越大。轮询法：挨个轮询服务器处理两次随机法：随机选择两台服务器，并根据着两台服务器的负载情况选择其中一台。]]></description><category></category></item><item><title><![CDATA[FastChat部署服务架构（一）]]></title><link>https://blog.youkuaiyun.com/u014090429/article/details/139240837</link><guid>https://blog.youkuaiyun.com/u014090429/article/details/139240837</guid><author>u014090429</author><pubDate>Mon, 27 May 2024 16:28:05 +0800</pubDate><description><![CDATA[FastChat 部署服务的代码位于它们的关系如下图所示：图 1：https://github.com/lm-sys/FastChat/blob/main/docs/server_arch.md2. Server 向 Controller 发送请求，目的是获取处理 model 的 Worker 地址3. Controller 根据负载均衡策略分配 Worker4. Server 向 Worker 发送请求5. Worker 处理请求并将结果返回给 Server。]]></description><category></category></item><item><title><![CDATA[几种流行的并行方法了解]]></title><link>https://blog.youkuaiyun.com/u014090429/article/details/139239687</link><guid>https://blog.youkuaiyun.com/u014090429/article/details/139239687</guid><author>u014090429</author><pubDate>Mon, 27 May 2024 16:05:53 +0800</pubDate><description><![CDATA[虽然相比于1D Tensor并行，2D额外增加了模型权重的通信，但是需要注意的是当GPU数量很多的时候，每个GPU上分配的模型权重就会小很多，而且因为使用的All-reduce通信方式，所以2D也还是要比1D更高效的。假设有 N𝑁个 GPU，tensor维度大小为[P,Q,K][𝑃,𝑄,𝐾]，那么每个chunk的大小即为 [P/3√N,Q/3√N,K/3√N][𝑃/𝑁3,𝑄/𝑁3,𝐾/𝑁3]。随着模型大小不断增大，单个GPU的内存已经无法容纳现如今的大模型，所以便有了后面会介绍的模型并行​。]]></description><category></category></item><item><title><![CDATA[vscode单步调试如何深入底层代码]]></title><link>https://blog.youkuaiyun.com/u014090429/article/details/134038378</link><guid>https://blog.youkuaiyun.com/u014090429/article/details/134038378</guid><author>u014090429</author><pubDate>Wed, 25 Oct 2023 16:40:26 +0800</pubDate><description><![CDATA[在对pytorch代码单步调试的时候发现进不到torch.nn的库代码中，经过查阅，发现是自己的配置文件有问题，毕竟vscode还是非常强大的。要让VSCode在调试中跳转至底层代码，只需要在launch.json中设置一个参数即可。]]></description><category></category></item><item><title><![CDATA[torch训练gpu利用率不高]]></title><link>https://blog.youkuaiyun.com/u014090429/article/details/133795505</link><guid>https://blog.youkuaiyun.com/u014090429/article/details/133795505</guid><author>u014090429</author><pubDate>Thu, 12 Oct 2023 17:36:31 +0800</pubDate><description><![CDATA[GPU的显存占用和算力利用直接影响模型的训练速度。mmdetection中yolov3的数据预处理。显存一直占用，但是显卡使用率大多数情况为0。2.打开pin_memory。3.数据预处理占用比较久。这部分注释掉会比较快。]]></description><category></category></item><item><title><![CDATA[ubuntu mmdetection配置]]></title><link>https://blog.youkuaiyun.com/u014090429/article/details/133793599</link><guid>https://blog.youkuaiyun.com/u014090429/article/details/133793599</guid><author>u014090429</author><pubDate>Thu, 12 Oct 2023 17:16:19 +0800</pubDate><description><![CDATA[mmdetection配置最重要的是版本匹配，特别是cuda，torch与mmcv-full本项目以mmdetection v2.28.2为例介绍。]]></description><category></category></item><item><title><![CDATA[linux后台运行程序命令screen]]></title><link>https://blog.youkuaiyun.com/u014090429/article/details/132192517</link><guid>https://blog.youkuaiyun.com/u014090429/article/details/132192517</guid><author>u014090429</author><pubDate>Wed, 09 Aug 2023 17:06:28 +0800</pubDate><description><![CDATA[我们在服务器终端或者是使用的时候，需要长期后台运行项目，但是我们一关终端可能程序进程就会被kill掉了，我们之前学习过2>&1 &后台部署的命令，但是这样我们查看项目进程的时候还需要去查询运行的PID，如果我们不想麻烦，那么我们就可以使用screen工具。]]></description><category></category></item><item><title><![CDATA[ubuntu 命令端设置代理]]></title><link>https://blog.youkuaiyun.com/u014090429/article/details/131006089</link><guid>https://blog.youkuaiyun.com/u014090429/article/details/131006089</guid><author>u014090429</author><pubDate>Fri, 02 Jun 2023 14:31:36 +0800</pubDate><description><![CDATA[注意，有时候anaconda可能会出现域名不可解析，或者连不上代理等情况，这时需要sudo gedit ~/.condarc，检查一下，是否-default默认的源到了top位置，如果出现了这样的情况，不防删除-default（因为将其移到最后位置，过一段时间可能就又到了top位置，这时我们就不能优先使用国内的源）。修改文件/etc/apt/apt.conf。修改/添加~/.pip/pip.conf。]]></description><category></category></item><item><title><![CDATA[caffe和onnx对protobuf的依赖]]></title><link>https://blog.youkuaiyun.com/u014090429/article/details/131005921</link><guid>https://blog.youkuaiyun.com/u014090429/article/details/131005921</guid><author>u014090429</author><pubDate>Fri, 02 Jun 2023 14:16:31 +0800</pubDate><description><![CDATA[ONNX 和 Caffe 都使用 Protobuf 库来序列化和反序列化结构化数据。它们可能需要不同版本的 Protobuf 库，这可能会导致冲突。但如果执行import onnx的时候会报错找不到protobuf，这时候可以执行。ONNX 支持 Protobuf v3.12.2 到 v3.20.1 的版本。此时caffe和onnx都可以正常使用。]]></description><category></category></item><item><title><![CDATA[ModuleNotFoundError: No module named ‘google.protobuf‘]]></title><link>https://blog.youkuaiyun.com/u014090429/article/details/130685908</link><guid>https://blog.youkuaiyun.com/u014090429/article/details/130685908</guid><author>u014090429</author><pubDate>Mon, 15 May 2023 15:39:24 +0800</pubDate><description><![CDATA[结果import caffe的时候报错：TypeError: Couldn't build proto file into descriptor pool: duplicate file name caffe.proto。import caffe不成功，报错import  caffe  ModuleNotFoundError: No module named 'google.protobuf'直接pip install protobuf，]]></description><category></category></item><item><title><![CDATA[GIT操作：把当前仓库的一个分支push到另一个仓库的指定分支]]></title><link>https://blog.youkuaiyun.com/u014090429/article/details/130240550</link><guid>https://blog.youkuaiyun.com/u014090429/article/details/130240550</guid><author>u014090429</author><pubDate>Wed, 19 Apr 2023 11:47:33 +0800</pubDate><description><![CDATA[rep2后面是rep2的一个分支，可以指定为master或你要push的目标分支，都可以。newOrigin是你想push上哪个远程库，branch1是你想push的那个分支，branch2是push到远程的那个分支。有时候我们想把当前仓库A的一个指定分支1 推给 另一个仓库B的另一个指定分支2，3.newOrigin：远程仓库名称，可以随便起个方便记忆的，目的是在本地添加一个新的远程链接。2.查看当前仓库origin只有一个，接下来我们要add另一个仓库的origin。1.在当前仓库操作：更新代码库。]]></description><category></category></item><item><title><![CDATA[yolov5s模型转caffe]]></title><link>https://blog.youkuaiyun.com/u014090429/article/details/130226782</link><guid>https://blog.youkuaiyun.com/u014090429/article/details/130226782</guid><author>u014090429</author><pubDate>Tue, 18 Apr 2023 17:25:29 +0800</pubDate><description><![CDATA[目前我使用的源码为2023年4月6日的master版本，应该对应v7.1或者v8.0版本。主要调用export.py函数进行onnx模型导出，具体执行命令如下。其中设置图像的分辨率为640*640，batch为1。每个版本对应的Assets下有相应的下载链接。3. onnx模型转caffe模型。1.yolov5s模型下载。2.onnx模型导出。]]></description><category></category></item><item><title><![CDATA[nvidia-smi:Failed to initialize NVML:Driver/library version mismatch]]></title><link>https://blog.youkuaiyun.com/u014090429/article/details/130225252</link><guid>https://blog.youkuaiyun.com/u014090429/article/details/130225252</guid><author>u014090429</author><pubDate>Tue, 18 Apr 2023 16:34:29 +0800</pubDate><description><![CDATA[参考链接：linux里面编译安装显卡驱动失败:ERROR：Unable to find the kernel source tree for the currently running kernel._error: unable to find the kernel source tree for t_愿一直的博客-优快云博客]]></description><category></category></item><item><title><![CDATA[ModuleNotFoundError:No module named “te_fusion“]]></title><link>https://blog.youkuaiyun.com/u014090429/article/details/130108079</link><guid>https://blog.youkuaiyun.com/u014090429/article/details/130108079</guid><author>u014090429</author><pubDate>Wed, 12 Apr 2023 15:35:25 +0800</pubDate><description><![CDATA[上述几个包的路径有可能在/home/HwHiAiUser/Ascend/ascend-toolkit/latest/fwkacllib/lib64/下面，根据自己情况进行确定。场景描述:ONNXRuntime调用CANN后端执行时，报了没有找到te_fusion的error，从EROOR来看这是没有找到tensor engine融合的模块.Asecend Tensor Compiler简称ATC，昇腾张量编译器，主要是将开源框架的。: No module named "te_fusion"的错误；]]></description><category></category></item><item><title><![CDATA[c++打印文件名，行号，函数]]></title><link>https://blog.youkuaiyun.com/u014090429/article/details/130107789</link><guid>https://blog.youkuaiyun.com/u014090429/article/details/130107789</guid><author>u014090429</author><pubDate>Wed, 12 Apr 2023 15:16:13 +0800</pubDate><description><![CDATA[1）stdio.h是一个标准库头文件，包含了标准输入输出函数的定义，如printf()和scanf()等函数的声明。如果您想在C程序中使用这些函数，则需要在程序的顶部包含这个头文件。3) __FUNCTION__   宏在预编译时会替换成当前的函数名称。1）__FILE__    宏在预编译时会替换成当前的源文件名。2) __LINE__   宏在预编译时会替换成当前的行号。]]></description><category></category></item><item><title><![CDATA[Windows系统配置SSH服务]]></title><link>https://blog.youkuaiyun.com/u014090429/article/details/129955217</link><guid>https://blog.youkuaiyun.com/u014090429/article/details/129955217</guid><author>u014090429</author><pubDate>Tue, 04 Apr 2023 16:09:08 +0800</pubDate><description><![CDATA[选择【OpenSSH 服务端】，切记不是【OpenSSH 客户端】（如果安装一个不行，就都安装，我都安装了可以用），然后点击下载即可。新增连接，填入主机的IP就行，然后点击连接，会弹出用户名和密码的输入框，填入即可。右键-属性，启动类型选择：【自动】，这样就实现了开机自启。按下【win】+R键，输入【services.msc】搜索到【OpenSSH SSH Server】服务。下载完成后会自动安装，安装成功会出现在列表中。打开【设置】-【应用】选择【管理可选功能】点击【添加可选功能】]]></description><category></category></item><item><title><![CDATA[解决“Cmake error :generator: Ninja“问题]]></title><link>https://blog.youkuaiyun.com/u014090429/article/details/128544160</link><guid>https://blog.youkuaiyun.com/u014090429/article/details/128544160</guid><author>u014090429</author><pubDate>Wed, 04 Jan 2023 10:34:27 +0800</pubDate><description><![CDATA[解决“Cmake error :generator: Ninja“问题]]></description><category></category></item><item><title><![CDATA[vscode访问docker容器中内容]]></title><link>https://blog.youkuaiyun.com/u014090429/article/details/128409279</link><guid>https://blog.youkuaiyun.com/u014090429/article/details/128409279</guid><author>u014090429</author><pubDate>Thu, 22 Dec 2022 15:25:16 +0800</pubDate><description><![CDATA[vscode访问docker]]></description><category></category></item><item><title><![CDATA[模型压缩总结]]></title><link>https://blog.youkuaiyun.com/u014090429/article/details/127851669</link><guid>https://blog.youkuaiyun.com/u014090429/article/details/127851669</guid><author>u014090429</author><pubDate>Mon, 14 Nov 2022 17:35:12 +0800</pubDate><description><![CDATA[模型压缩总结]]></description><category></category></item><item><title><![CDATA[服务器conda环境使用python虚拟环境教程]]></title><link>https://blog.youkuaiyun.com/u014090429/article/details/127516144</link><guid>https://blog.youkuaiyun.com/u014090429/article/details/127516144</guid><author>u014090429</author><pubDate>Tue, 25 Oct 2022 16:49:57 +0800</pubDate><description><![CDATA[如果为false，那么一定要先看自己CUDA版本。如果需要删除env_name虚拟环境中的某个包。后面会问你要不要下载一些内置库，选择y。查看驱动版本：nvida-smi。]]></description><category></category></item></channel></rss>