AI大模型QWEN3-CODER:30b 本地化部署编程能力浅测

部署运行你感兴趣的模型镜像

最近因为工作关系一直没时间来关注大模型本地化这一块,QWEN3-CODER:30b在网络上发布已经有一段时间了,今天被推送了一条消息 ,看介绍貌似比较强悍,趁着这个酷暑下午正好有咖啡空调和时间,那么就来测试一下吧。

首先需要一个OLLAMA (看个人喜欢吧),关于如何部署OLLAMA ,网上教程比较多,不熟悉的可自行搜索。基本上,玩这个需要一台服务器(笔记本其实也可以) 、一块GPU 、然后一个比较大的硬盘(需要装很多模型用)。

我的OLLAMA 是通过容器(DOCKER)部署的,对外映射了端口11434 ,因为是局域网,没有映射到外网,所以没有被盗用的风险。之前传出OLLAMA漏洞,是因为很多公网上的服务器,端口可以被直接访问,所以存在风险,这一点需要部署公网的注意了。

这是进入容器后的状画面,可以看到OLLAMA上装了几个模型,基本上,24G内存的GPU就能跑了。跑70B也比较顺畅。

因为这个是一个写代码的模型,所以强项是编程,不过既然玩了,就测试一下其他的功能先:

这个测试确实非常一般。。。

看一下基本参数吧

qwen3-coder 30B 模型参数显示,它的架构为 qwen3moe,拥有 30.5B 参数,上下文长度为 2048,量化级别为 Q4_K_M,具有补全能力。

参数设置包括 repeat_penalty 1.05、temperature 0.7、top_k 20 和 top_p 0.8,停止词为 "[im_start]""、"[im_end]" 和 "[endoftext]",采用 Apache License 2.0(2004年1月)。

粗略评价这个配置:这个模型参数配置合理,30.5B 参数量使其在编码任务中具有较强性能,2048的上下文长度适合处理中等复杂度的代码补全需求。Q4_K_M 量化降低了资源需求,同时保留了较高精度。

下面正式测试一下代码能力吧:

输出的速度可以说是秒出,很快。!

看下结果:

这个画面看上去基本的运行逻辑都有了,但是感觉外围的行星运行速度好像不对啊!

之前我让claude也出过同样的代码,用的同样的提示词,看下效果:

上面这个claude出的效果更真实,考虑更周到。

后面又写了一个web来调用这个QWEN3-CODER:30b,效果还算理想。

这次还出了不同的方案,(4种实现方案+1种综合方案)不错!

总结:

如果有些公司,需要内部代码编写 不能上外网,可以试一下这个模型,代码能力还是不弱的。

您可能感兴趣的与本文相关的镜像

Llama Factory

Llama Factory

模型微调
LLama-Factory

LLaMA Factory 是一个简单易用且高效的大型语言模型(Large Language Model)训练与微调平台。通过 LLaMA Factory,可以在无需编写任何代码的前提下,在本地完成上百种预训练模型的微调

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值