- 博客(242)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 【大语言模型_8】vllm启动的模型通过fastapi封装增加api-key验证
vllm推理框架启动模型不具备api-key验证。需借助fastapi可以实现该功能。通过访问fastapi提供的12345即可实现改功能。
2025-03-20 18:41:56
516
原创 【大语言模型_7】利用ragas框架评测rag系统指标
ragas是一个用来评估RAG系统的框架，允许不在依赖人工注释的情况下，通过一套指标评估检索模块和生成模块的性能及其质量。上下文精确度【context precision】：用embedding模型通过余弦相似度来搜索与query相似的文本。用来衡量上下文中所有真实的消息是否排在了较高位置。上下文召回率【context recall 】：就是通过embedding模型检索到的上下文是否包含真实答案。用来衡量检索到的上下文与被视为事实真相的标注答案的一致性程度。他根据标注答案和检索到的上下文来计算。
2025-03-19 16:16:38
442
原创 【大语言模型_6】mindie启动模型错误整理
hccl在创建通信域时，相应的卡需要分配大约300M的device内存，因此每张卡所在的通信域的数量越多，则额外需要的内存越多，因此会有内存不足的问题。背景：运行DeepSeek-R1-Distill-Qwen-14B模型，在2张300 P卡可以运行，单独一张启动报以上错误。
2025-03-19 15:41:17
415
原创 【运维】内网服务器借助通过某台可上外网的服务器实现公网访问
内网服务器无法连接公网,但是办公电脑可以连接内网服务器又可以连接公网。进行到这里已经完成所有部署，可通过curl www.baidu.com验证。此处配置为win10系统笔记本。1、Internet配置。
2025-02-24 18:02:47
376
原创 【大语言模型_4】源码编译vllm框架cpu版
1、vllm源码编译安装完成后，运行模型提示operator torchvision::nms does not exist错误。通过官方提供的pip install vllm安装的vllm框架不支持cpu加载模型。因为本人使用系统为uos1070e，官方提供版本较低，所以均选择源码安装。1、gcc/g++ 安装版本要求12.0版本及以上。2、 cmake版本要求3.26及以上。解决方法：安装torchvisioncpu版本。python版本：3.10。
2025-02-20 11:31:05
522
原创 【运维】源码编译安装cmake
解决方法：因为是本地源码编译安装gcc/g++,动态库没有加载到环境变量中，根据安装情况在/etc/profliez中设置环境变量。已经在本地源码编译安装gcc/g++，现在源码安装cmake。1、提示找不到libmpc.so。3、提示找不到crt1.o文件。2、提示找不到as文件。
2025-02-19 23:32:30
252
原创 【大语言模型_3】ollama本地加载deepseek模型后回答混乱问题解决
本地下载了DeepSeek-R1-Distill-Qwen-7B模型后，通过ollama create DeepSeek-R1-Distill-Qwen-7B -f ds7b.mf加载模型启动后回答混乱，无法使用。重新下载模型，选择了DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf。再次加载模型后启动正常。
2025-02-19 18:55:13
869
原创 【大语言模型_1】VLLM部署Qwen模型
1、python官网安装python 【推荐要3.8以上版本】2、安装vllm模块。4、利用python脚本调用测试。2、安装python环境。出现以下内容代表运行成功。
2024-09-20 15:55:58
968
原创 运维-[frp配置内网服务器访问外网]
同一局域网里面，两台服务器A服务器可以访问外网，代理端口为10809，B服务器不可访问外网。启动方式: frpc -c frpc.ini。启动方式: frps -c frps.ini。B服务器配置frp服务端 配置文件-frps.ini。server_port:B服务器frp端口。通过frp进行内网穿透配置代理服务。启动后出现success表示连接B服务frp成功。server_addr:B服务器IP。配置文件-frpc.ini。A服务器配置frp客户端。根据IP区域可判断代理配置成功。
2024-03-22 11:59:37
713
1
原创 go语言学习日记【三十四】golang中并发详解
有人把 Go 比作 21 世纪的 C 语言，第一是因为 Go 语言设计简单，第二，21 世纪最重要的就是并行程序设计，而 GO 从语言层面就支持了并行。
2022-11-18 16:11:29
559
原创 go语言学习日记【三十三】golang中interface详解
Go 语言里面设计最精妙的应该算 interface，它让面向对象，内容组织实现非常的方便，当我们认真了解interface后，就会被 interface 的巧妙设计所折服。
2022-11-16 10:56:11
1683
原创 Go语言学习日记【三十二】golang代码错误处理【error，defer，recover】
代码异常处理是学习任何编程语言都需要考虑的一个重要话题。比如C++，python都引入exception的概念和try_catch try_except的引入。golang自然也有自己独特的异常处理方式。漂亮的异常处理方式也是golang语言最大的亮点之一，下面重点解析一下golang错误处理方式。
2022-09-06 11:25:36
1265
16
原创 【网络安全】XSS跨站脚本攻击专题讲解
跨站脚本攻击（Cross Site Scripting）为了不和层叠样式表的缩写混淆，故将跨站脚本攻击缩写为XSS。恶意攻击将WEB页面插入恶意Script代码，当用户浏览该网页时，嵌入其中的Web里面的Script代码将会被执行，从而打到恶意攻击用户的特殊目的。
2022-09-04 15:47:52
1762
2
原创 【网络安全】SQL注入专题讲解
所谓SQL注入，就是利用现用的应有程序的特性，攻击者通过在Web表单，URL等可输入数据的地方插入（恶意）SQL语句一并原有的SQL语句被代库执行。SQL命令就是前端应用程序和后端数据库之间的接口。 > 数据库库敏感信息泄露 > 网页被篡改，挂马 > 数据库被恶意操作 > 服务器被远程控制，被安装后门 ....... （1）按数据类型 > 数字形 > 字符型 （2）按返回结果 > 显错注入 > 盲注（Boolea
2022-09-04 14:44:33
2749
2
原创 【网络安全】通过iptables和ipset完成服务器防火墙黑名单和白名单功能
通过iptables和ipset完成服务器防火墙黑名单和白名单功能
2022-07-28 17:34:16
1674
原创 【工具】goland push代码 出现 Ssh_exchange_identification: read: Software caused connection abort.....
今天，push代码时push失败，报下面这个错误 Push failed Ssh_exchange_identification: read: Software caused connection abort Could not read from remote repository. Please make sure you have the correct a
2022-07-08 14:08:56
677
原创 Go语言学习日记【三十】golang的值传递与引用传递
一、golang数据类型基础数据类型：字符串、数字、数组、布尔类型引用数据类型：切片、map类型、函数、接口、channel类型复合数据类型：结构体、数组、二、golang值传递1、golang默认是值传递,即拷贝传递；2、有些值天生就是指针，如（切片,map类型）三、函数示例package mainimport "fmt"func main() { mapdata := make(...
2022-05-27 13:40:16
905
原创 【shell】shell定义终端输出字体颜色及格式
当我们编写shell脚本时，有时候关键输出地方需要醒目，颜色是最好的方式颜色格式表示例：echo -e "\033[1;32;40mhello world\033[0m"echo -e "\033[4;32;40mhello world\033[0m"echo -e "\033[7;32;40mhello world\033[0m"echo -e "\033[7;31;40mhello world\033[0m"效果图：......
2022-05-23 16:49:38
344
原创 Go语言学习日记【二十九】golang切片操作
package mainimport "fmt"func main() { initSlice := []int{1,2,3,4,5,6} copySlice := make([]int,6) copy(copySlice,initSlice) fmt.Println("-------copy slice:",copySlice) tmpSlice1 := initSlice[:3] tmpSlice1[0] = 3 fmt.Println("-----.
2022-05-07 10:43:50
423
原创 【运维】在linux系统中没X秒运行一次命令
一、corn# crontab -e 编辑定时任务文件# 添加一下格式任务条目* * * * * command# 分钟 小时 月份中某天 月份 星期几二、watch# 每隔两秒高亮显示网络连接数watch -n 2 -d netstat -ant三、循环# for循环for i in {1..8}; do echo $i; sleep 3; done# while循环while true; do echo "hello world" ; sleep 2;
2022-05-03 12:22:53
1056
原创 Go语言学习日记【二十八】 golang的数字运算
一、数字字符串转化为int64func strToInt64(str string) int64 { int64Data, _ :=strconv.ParseInt(str, 10, 64) return int64Data}二、小数字符串转化为float64func strToFloat64(str string) float64 { float64Data, _ :=strconv.ParseFloat(str, 64) return float64D
2022-04-20 10:20:12
835
1
原创 【运维】vmware虚拟机增加网卡
一、增加网卡在VMware虚拟机中，选中网络适配器,点击添加二、查看新增网卡UUID三、增加配置文件1、进入/etc/sysconfig/network-scripts目录2、copy一份网卡配置文件 eg：cp ifcfg-ens33 ifcfg-ens373、修改ifcfg-ens37配置文件 * 修改uuid * 修改IP等配置字段eg：TYPE="Ethernet"PROXY_METHOD="none"iBROWSER_ONLY="no..
2022-04-07 10:11:10
13119
2
原创 Go语言学习日记【二十七】golang调用shell持续输出命令，实时输出并在特定条件下终止
package mainimport ( "bufio" "context" "fmt" "io" "os/exec" "strings" "sync")func main() { ctx, cancel := context.WithCancel(context.Background()) Command(ctx,cancel, "tail -f -n 1 test.log")}func Command(ctx.
2022-03-29 15:43:52
1189
原创 Go语言学习日记【二十六】golang正则语句整理收集
package mainimport ( "fmt" "regexp")func main() { // ############################################ s := " 454 bytes/s" re := regexp.MustCompile(` ([\d]+) bytes/s`) params := re.FindStringSubmatch(s) fmt.Println(params[1]) // 454 // ########.
2022-03-25 10:58:05
345
原创 【ELK】beats通过配置删除输出字段和通过源码控制输出字段
一、修改配置1、未设置前2、通过配置删除service,host,event,metricset字段processors: - drop_fields: fields: ["host","event","metricset","service"]3、设置后参考文档：Define processors | Filebeat Reference [8.1] | Elastic二、通过源码修改涉及文件：libbeat/outputs/codec/.
2022-03-22 14:03:06
410
原创 【ELK】metricbeat扩展自定义配置字段
一、增加config.go 在上文中创建的module中,在flow目录中增加config.go,代码示例：package flowtype config struct { NETCARD string `config:"flow.NETCARD"`}func defaultConfig() config { return config{ NETCARD: "ens33", }}二、...
2022-03-21 13:54:55
777
原创 【ELK】metricbeat 扩展module
一、下载源码： https://github.com/elastic/beats二、创建module 1、执行 make create-metricset 执行命令后过程如下： 依次输入module和metricset，输入完成后可以在metricbeat/module目录下可以看到新增加一个domain目录，并且domain目录下有个flow目录。 如果在执行...
2022-03-18 16:46:39
722
1
原创 【运维】Windows系统将程序注册为服务之nssm使用介绍
一、NSSM NSSM是一个服务封装程序，它可以将普通exe程序封装成服务，使之像windows服务一样运行 二、下载地址： https://nssm.cc/download三、使用方式 一、安装服务 nssm install service file service:服务名 file：文件路径二、卸载服务 nssm.exe remove service 三、启动服务： nssm.exe start service...
2022-03-14 14:07:29
2683
4
原创 【网络安全】ssh禁用弱秘钥交换算法和弱MAC算法
一、通过nmap查看ssh允许算法nmap --script ssh2-enum-algos -sV -p 22 **.**.**.**举例：二、禁用弱秘钥交换算法和弱mac算法# 修改/etc/ssh/sshd_config,在文件末尾添加以下内容，设置完毕后重启ssh服务Ciphers aes128-ctr,aes192-ctr,aes256-ctrMACs hmac-sha1,hmac-ripemd160举例：三、验证 执行以下命令进行验证...
2022-03-11 17:23:51
11429
1
原创 Go语言学习日记【二十五】golang格式化输出字符串左右对齐
package mainimport "fmt"func main() { fmt.Printf("%-40s\t%s\n","aaaaaaaaaaaaaaaaaa","a") fmt.Printf("%-40s\t%s\n","bb","b")}
2022-03-10 15:12:57
1347
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人