<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[sss_s12的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/sss_s12</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; sss_s12]]></copyright><item><title><![CDATA[llmperf测试本地大模型接口并发实践]]></title><link>https://blog.youkuaiyun.com/sss_s12/article/details/146025886</link><guid>https://blog.youkuaiyun.com/sss_s12/article/details/146025886</guid><author>sss_s12</author><pubDate>Tue, 04 Mar 2025 20:25:24 +0800</pubDate><description><![CDATA[实验结论：基于vllm部署的deepseek-32b模型并发情况随并发数量增加，模型每秒返回token数量逐渐递减。为了运行llmperf库，将ray包降级为2.0.0， 将pydantic包也降级为1.10.21，最后成功运行，但是当运行中并发设置为200又报错，系统给与线程资源数量不足问题，最后尚未解决这个问题。本次测试基于四张A40显卡，基于vllm框架部署deepseek-32b蒸馏模型，部署设置每张卡显存占用比例为0.6，max_token_len为50000，, 输出 token 数的标准差。]]></description><category></category></item><item><title><![CDATA[vllm部署说明和注意事项]]></title><link>https://blog.youkuaiyun.com/sss_s12/article/details/145853992</link><guid>https://blog.youkuaiyun.com/sss_s12/article/details/145853992</guid><author>sss_s12</author><pubDate>Tue, 25 Feb 2025 15:28:47 +0800</pubDate><description><![CDATA["content": "请从以下文本中提前实体信息，实体信息包括 人名 地名 机构名，文本内容为：中国位于地区上，中国有个机构名，一个机构名是：中国Bank，一个地名是：北京，一个人名是：张三。"content": "你是一名高级智能任务分类助手，请对用户输入问题进行理解，在此基础上对问题进行分类，分类结果为“公司照顾说明书咨询问题”，“股票基金数据查询问题”，“其他问题”三种之一."},"description": "如果对用户输入问题分类后，认为是其他问题，则返回内容为'1'，否则返回'0'"}},]]></description><category></category></item><item><title><![CDATA[linux服务器git clone报错Failed to connect to github.com port 443: Timed out]]></title><link>https://blog.youkuaiyun.com/sss_s12/article/details/135873937</link><guid>https://blog.youkuaiyun.com/sss_s12/article/details/135873937</guid><author>sss_s12</author><pubDate>Fri, 26 Jan 2024 20:18:01 +0800</pubDate><description><![CDATA[看了网上很多文章，自己有尝试了三天，最后误打误撞成了，好清除了为什么好像又不清楚；]]></description><category></category></item><item><title><![CDATA[windows容器实践]]></title><link>https://blog.youkuaiyun.com/sss_s12/article/details/134977369</link><guid>https://blog.youkuaiyun.com/sss_s12/article/details/134977369</guid><author>sss_s12</author><pubDate>Wed, 13 Dec 2023 17:30:00 +0800</pubDate><description><![CDATA[无偿分享，愿IT界大家能够积极开源。]]></description><category></category></item><item><title><![CDATA[PPT提取表格并标记表格所在页码]]></title><link>https://blog.youkuaiyun.com/sss_s12/article/details/133927083</link><guid>https://blog.youkuaiyun.com/sss_s12/article/details/133927083</guid><author>sss_s12</author><pubDate>Thu, 19 Oct 2023 15:05:22 +0800</pubDate><description><![CDATA[PPT提取表格并标记表格所在页码]]></description><category></category></item><item><title><![CDATA[本地连接远程服务器jupyterlab连不上问题]]></title><link>https://blog.youkuaiyun.com/sss_s12/article/details/132816103</link><guid>https://blog.youkuaiyun.com/sss_s12/article/details/132816103</guid><author>sss_s12</author><pubDate>Mon, 11 Sep 2023 19:48:57 +0800</pubDate><description><![CDATA[4 此时连接本地服务会发现还是无法起起来，通过jupyter lab -h 查看文档后，发现必须制定远程服务器起服务的端口号，具体命令如下，port后的端口号根据自己需要自由决定。5最后一步，在本地浏览启动，在远程服务启动后会出现一个网址，将网址修改如下即可登录,其中48888是运维给我开设端口号，1 首先需 要明白公司服务器起服务，外部电脑连接起起来的服务，需要运维给开设一个可以连接的端口，否则拼死劲也连不上。可能会报错无法找到，此时需要一个命令新建一个。6关于登陆密码设置问题见下图。]]></description><category></category></item></channel></rss>