小灰笔记

在ThorT5000上成功部署Strata推理引擎并优化Qwen3.8-Flash-Next NVFP4量化模型后，推理性能显著提升：Prefill平均达700+，Decode稳定在38 token/s，峰值超50。相比此前VLLM方案，表现更优且更符合实际工作需求。虽需手动处理MTP头、量化及多模态支持，但借助AIAgent可高效完成。尤其在多并发场景下，结合引擎优化，设备潜力得以释放，实现高效、稳定的本地推理体验。

作者曾因部署开源项目繁琐而放弃尝试，近年因精力减退更难投入新工具。近期借助大模型与Agent，实现“一步到位”体验，成功将本地大模型接入“爱马仕”系统，完成微信对接，仅耗5元Token。虽部署复杂、依赖庞大，但其自治与进化能力令人看到未来可能性——以自选AI大脑打通软硬件，开启智能协同新路径，即便非日常主力，也照亮了个人智能化探索的方向。

摘要：用户需求为开发Python远程监控Linux服务器（CPU、内存、GPU）的图形界面，支持SSH登录、IP/用户名保存、动态文本与曲线显示及刷新调节。Agent提议Qt5方案，用户采纳。安装依赖后，Agent自主设计并测试，过程中遇到构建错误，通过类似二分法逐步缩小问题范围并修复，还主动注入高负载测试用例验证响应。最终产出界面简洁实用，效果满意。整个过程自动化程度高，问题自愈能力强。

本文分享了作者两个月来学习使用AI工具的经历。从6月购买DeepSeek教程开始，作者经历了从基础提示词编写到API接入的进阶学习。在尝试多个模型后，作者发现千问35B-A3B模型在性价比和本地部署方面表现优异，为此购置了RTX5080显卡游戏本。为解决便携性问题，又配置了32G显存的台式机用于公司办公。目前作者已能通过本地大模型解决80-90%的工作需求，未来计划进一步探索AI工具的深度应用，将其融入日常工作与生活。

本文作者分享了在高温周末研究AI Agent的经历。主要使用PiAgent工具，同时参考Codex资料，探索不同Agent的共通点。通过实践掌握了Skill概念和电子形象定制，最大的收获是理解了子Agent的概念，这为本地小模型的应用开辟了新思路。作者将日常文档化处理与Skill功能类比，并成功应用于代码分析和保险申请等实际场景。本地模型的运用节省了云端计算成本，使作者能够进行大量测试。这次探索标志着从理论学习转向实践应用的重要转变。

文章摘要：作者分享了使用AI编码工具的演进历程，从通义灵码到TRAE，再到本地部署大模型的体验。重点探讨了AI在处理软件接口分析时遇到的上下文限制问题，以及通过Agent技术（特别是PiAgent）实现子Agent功能来突破这一限制的成功实践。最后展示了将AI应用于医疗报销流程自动化的案例，体现了AI对工作效率的提升作用。全文展现了作者从工具使用者到创新应用者的成长过程。

近期作者集中体验了多款AI Agent工具。最先接触OpenAI的Codex，因网络限制起初抗拒，后发现可接入DeepSeek等兼容OpenAI API的本地模型（如千问3.6系列），遂开始使用。随后尝试VS Code插件Continue，但未能成功接入；而Cline则一次配置成功，成为日常主力，辅助代码开发与分析。千问Code体验一般，TRAE因资源占用过高被放弃。Claude Agent虽编码能力强，但未体验原生状态。Open Code和Continue类似，折腾未果。新发现的Pi A

本文分享了作者近期使用千问35B-A3B和27B两个本地大模型的实际体验对比。作者发现35B-A3B虽然输出效率高（每秒token数多），但在高频使用时存在输出不稳定问题。转而尝试27B的IQ3量化版本后，通过调优实现了48K上下文支持（显存占用14.6G），保持25token/s的速度，在代码编写等任务中表现稳定。文章详细记录了参数配置过程，包括上下文压缩、线程设置等优化手段，并附带了启动脚本。作者特别指出27B模型在解决复杂问题时消耗token更少，尽管总耗时略长，但实际体验差距不大。最终在RTX508

本文总结了作者在本地部署大模型进行音视频解析的探索过程。最初尝试使用千问3.6-35B-A3B模型时发现其仅能通过截图进行图像识别，无法有效解析音频信息。随后尝试部署谷歌Gemma4 26B-A4B模型，虽能完成任务但处理时间过长。测试中意外发现该模型代码生成速度快且质量不错，适合作为编程辅助工具。最终作者得出结论：从实用性和经济性角度看，使用云端API可能更合适，但本地部署的探索过程本身积累了宝贵经验。这种技术尝试的价值不在于节省成本，而在于过程中获得的知识积累。

本文作者分享了使用本地A3B多模态模型处理会议视频纪要的实践。由于硬件限制（仅支持128K上下文），作者通过Python脚本将长视频分割为30秒片段分别处理，为每个片段生成带时间戳的Markdown记录，最后合并汇总并进行总结。该方法成功处理了AI教程录屏，验证了在有限资源下通过分段处理实现长视频内容分析的可行性，展现了本地AI模型处理会议纪要的潜力。整个方案充分利用现有硬件条件，通过技术变通实现了原本难以完成的任务。

本文作者分享了近期使用本地AI大模型（千问3.6-35B-A3B）的实践体会。通过测试不同量化版本，发现推理速度比精度更重要，可通过输入控制弥补精度损失。在对比Claude蒸馏版、DeepSeekV4Flash等模型处理复杂代码任务时，原版A3B表现最优。实验表明，当任务过于复杂时，AI容易陷入无效循环，而将需求拆解为清晰框架后，免费版DeepSeek仅用3分钟就完成了编码工作。作者认为当前AI更适合作为"高效工程师"角色，人类仍需担任架构师，提供明确规划。未来计划继续优化本地模型的视图

本文记录了作者在本地部署千问3.6-35B-A3B大模型时的参数优化过程。作者最初遇到32K上下文限制的瓶颈，通过调研发现可通过调整MoE推理专家分配来扩展上下文。经过多次测试，作者在256K上下文下实现35 tokens/s的速度，但最终调整为128K上下文以获得更优的57 tokens/s推理速度。文末提供了优化后的启动配置参数，包括使用--mlock参数防止内存回收导致降速，展现了在上下文长度与推理速度之间寻找平衡的完整调优过程。

本文记录了作者探索AI编程工具的使用体验。通过对比测试，作者发现Cline在代码编写、自动测试和纠错方面表现优于Continue等工具。在本地模型方面，测试发现小参数模型虽然偶尔出错但能完成任务，验证了节省Token的可行性。当前主要瓶颈是32k上下文限制，下一步计划优化配置以支持更长上下文。整体而言，Cline展现出更强的智能化和流畅性，甚至能辅助发现代码错误，成为作者推荐的首选工具。（149字）

本文分享了在本地部署千问3.6-35B-A3B大模型（IQ3量化版）的体验，其推理速度可达80-100 token/秒。作者发现该模型虽在原始能力上有限，但通过Agent框架（如Codex、TRAE）和VS Code插件（Cline）能有效提升开发效率。特别探索了多模态潜力，计划结合语音转文字、FFmpeg等工具实现会议纪要自动化处理，将文字、截图等信息交由模型整合分析。初步测试显示该方案具备可行性，为办公场景的AI应用提供了新思路，具体效果有待进一步验证。

本文记录了作者在本地部署大模型的实践过程。作者先后尝试了千问3.6-35B-A3B的四比特和IQ3量化版本，通过参数调优将生成速度从40token/s提升至80+token/s，峰值可达130token/s。在测试文档编写、代码生成等场景时表现出色，虽不及顶级模型但已能满足日常需求。作者特别分享了优化后的启动配置参数，并强调AI工具应作为辅助而非完全替代人力，建议采取人机协作的工作模式。最终获得的模型性能已满足当前需求，下一步将重点考察其实际生产力提升效果。

本文作者分享了自己从云端AI工具转向本地大模型部署的探索历程。最初因云端API费用高昂而考虑本地方案，经过反复测试比较，最终选择了千问35B-A3B和27B量化版本模型。在部署过程中遇到GPU工作异常问题，最终通过DeepSeek分析解决。实际测试显示，27B模型虽性能稳定但硬件负载高，而35B-A3B在性能和噪音控制上更平衡。作者计划未来几个月继续探索与本地大模型的"共生合作"，为新工作模式积累经验。整个过程体现了技术选型的实用主义考量，以及解决问题过程中的曲折与收获。