- 博客(53)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 算力与 Token 的成本控制方案
在大模型工程化落地中，Token 消耗与算力成本往往占到 AI 系统运营成本的 70% 以上。工业界成熟的降本方案并非依赖单一手段，而是从 Prompt 工程、多级缓存、模型分流、输出约束、网关治理到算力架构 构筑的多层漏斗体系。
2026-09-30 17:45:15
334
原创 Go 与 Python 协程（Coroutine）对比演示项目
本项目对比Go协程（Goroutine）与Python异步（Asyncio）的并发机制。通过模拟三个耗时任务，展示两者在语法、调度模型、多核利用及部署方式上的差异：Go采用轻量级协程与Channel通信，支持抢占式调度和静态编译；Python依赖事件循环与async/await，受GIL限制，需运行环境支持。结果表明，Go在性能与部署上更具优势，而Python更适用于I/O密集型场景。
2026-09-30 17:31:25
253
原创 LLM Wiki 模式研究
LLM Wiki 是 Andrej Karpathy 提出的新型知识管理范式，将 RAG 的“查询时检索”转变为“写入时编译”，通过 LLM Agent 将原始资料持续转化为可链接、可版本化、人可审计的 Markdown Wiki。其核心是构建一个由相互关联页面组成的文件系统，实现知识复利、低延迟查询与全流程可追溯。相比 RAG，它在高价值知识积累上更具优势，适合长期记忆与深度推理，虽有编译成本与规模限制，但可通过分层混用实现互补。
2026-09-27 19:21:57
382
原创 New API 部署与接入指南
本篇介绍了New API，并详细介绍了其安装部署与配置指引，以及一个采用标准 OpenAI 协议访问 New API 的 Python 调用示例程序。
2026-09-27 19:17:16
505
原创 Ragas与RAG自动化评测框架
本文全面解析了 RAG 自动化评测框架 Ragas。文章深入剖析其解耦“检索”与“生成”的评估理念，详解了上下文精确度、召回率、答案忠实度及正确性四大核心指标；同时结合代码实战与对比场景，系统阐述了评测数据规范、模型配置分工，以及依据量化指标针对性调优 RAG 系统的工程最佳实践。
2026-09-02 07:36:47
369
原创 从“手搓 RAG”到“工业级数据框架”：LlamaIndex
本文探讨了 RAG 的演进历程及手搓与开箱方案的局限，阐述了 LlamaIndex 的核心价值。作为以“数据为中心”的专业开发框架，LlamaIndex 提供了丰富数据生态、进阶索引（父子/图谱）、混合检索、重排序与事件驱动工作流，有效解决上下文断裂与多跳推理难题，是构建工业级高精度 RAG 的理想选择。
2026-09-02 07:32:25
499
原创 LangGraph 节点触发机制通俗解读
LangGraph 的调度模型并非“通道数据变化时即时触发回调/事件通知节点（Push-based）”，而是基于 BSP（块同步并行）的拉取式调度（Pull-based）
2026-08-29 09:22:33
335
原创 LangGraph背后的运行机制
LangGraph 将手写 Agent 的串行循环升级为基于 Google Pregel 的并行图计算引擎。其核心由节点（执行函数）、边（流转规则）、通道（数据/事件传递）和归约器（并发写入合并）四大积木构成。图经历注册、连线、编译、调用四阶段，编译后生成 Pregel 状态机。执行以 Superstep（超步）为节拍，每轮并发激活所有就绪节点，经全局同步栅栏合并状态并落盘快照，支持天然并行、人机协同和时间旅行。通道分业务数据通道与流程控制通道，START/END 控制启停。
2026-08-29 09:17:49
423
原创 读Crush源码-AGI时代的LLM操作系统
文章摘要： 本文深入解析了开源AI编程助手Crush的核心设计，揭示了优秀AI工具90%的价值在于其"执行外壳"(harness)而非模型本身。作者通过分析Crush源码，总结了三大harness设计原则：1)严格权限控制与用户可扩展的hook机制；2)智能循环检测避免AI陷入死循环；3)上下文压缩和串行化确保长任务稳定性。文章特别指出，Crush通过将配置设计为可执行脚本、工具自描述文档等细节，实现了工程上的优雅取舍，为构建可靠的AI助手提供了宝贵经验。这些设计体现了"永远假设模型会犯错"的工程哲学，是A
2026-08-05 16:07:00
271
原创 多模型AI网关的容灾与智能路由实践
本文分享了在AI教育产品中构建生产级多模型网关的工程实践。面对模型供应商的不稳定性（限流、超时、脏数据等），作者团队设计了一个智能路由系统，核心包括： 抽象能力（Capability）与提供方（Provider）概念，实现零代码新增供应商 优先级容灾机制：按序尝试可用模型，首个成功即返回 熔断设计：连续失败三次自动禁用，需人工恢复 智能路由：通过难度评估分流，简单题走廉价模型，难题用高级模型 多层防御：包括鲁棒JSON解析、模型自修复和核心数据降级 流式输出优化：SSE传输和客户端断开处理 这套系统将模型A
2026-08-05 15:50:49
489
原创 基于 Top-K Logits 的 LLM 知识蒸馏实战
本文介绍了一个完整的知识蒸馏实战项目，将14B大模型(Qwen2.5-14B)的能力迁移到1.5B小模型中。项目采用Top-K Logits离线蒸馏方法，通过保留教师模型前50个token的概率分布，将存储需求从2.9TB压缩到1.4GB。文章详细讲解了数据准备、教师Logits生成、学生训练等全流程，并分享了两个关键踩坑经验：cuBLAS的fp16计算Bug和单卡显存优化方案。该方法在同系列模型间实现了词表天然对齐，利用温度调节和Top-K稀疏存储，在保证信息量的同时大幅降低了资源消耗，为轻量化部署提供了
2026-07-04 20:22:15
599
原创 把 HLS 字幕玩出花：zwPlayer 如何让 M3U8 视频支持全文搜索、翻译与码率自适应
M3U8视频的WebVTT字幕因分片下载，传统前端播放器难以实现全文搜索与整轨翻译。本文深度解析zwPlayer纯前端播放器如何通过“字幕预下载与边界去重”机制，攻克HLS字幕全文检索定位、AI整轨中外双语翻译及ABR自适应码率难题，附完整配置思路与场景实践，助力音视频与前端开发。
2026-07-04 20:07:13
540
原创 AWQ模型量化之llmcompressor
文本采用待量化模型自己生成数据集的方式，使用llmcompressor对智谱公司的GLM-4-9b-chat-hf模型进行AWQ量化。
2026-01-04 09:11:09
521
原创 模型量化之BitsAndBytes篇
摘要： BitsAndBytes是Hugging Face开发的神经网络高效量化库，支持8-bit和4-bit量化（INT8减少2倍内存，NF4减少4倍内存），适用于大模型部署与训练优化。通过Python示例演示了自动加载、量化（默认4-bit）及保存模型流程，量化后模型体积从18.3G降至6.5G。量化模型可通过vllm部署服务，需确保环境安装bitsandbytes。测试显示模型层成功转换为Linear4bit，并通过API调用验证功能正常。
2026-01-03 11:05:05
490
原创 使用AI一步生成音视频文件的会议纪要或者课后笔记
本文介绍了一种使用AI自动生成音视频文件会议纪要或课后笔记的方法。流程包括：1)使用ffmpeg提取16KHz单声道音频；2)通过ASR实时识别生成文本；3)利用大语言模型分段摘要并输出Markdown或者pdf格式纪要。
2025-12-21 21:05:33
1241
原创 CosyVoice3-0.5B的安装和使用
摘要：本文详细介绍开源语音合成系统CosyVoice3-0.5B的完整安装流程。主要内容包括：1)从GitHub克隆项目源码；2)创建Python3.10虚拟环境并安装依赖；3)通过ModelScope或SDK下载预训练模型；5)运行demo.py测试程序，需5.2GB GPU显存。文中指出系统对长文本处理会生成多个音频文件，断句位置可能不规范。
2025-12-20 19:45:58
1829
原创 Ubuntu安装CUDA/cuDNN全指南
本文详细介绍了NVIDIA CUDA Toolkit和cuDNN的安装方法。全文提供了完整的命令行操作指南，帮助用户正确配置GPU开发环境。
2025-12-12 14:55:25
2142
原创 Index-TTS2 从零到一：完整安装与核心使用教程
本文详细介绍了开源语音合成项目Index-TTS2的安装与使用教程。内容涵盖环境准备（Linux系统、Python 3.10、CUDA 12.8+）、项目源码获取、依赖安装、模型下载等完整部署流程，并提供了四种核心API使用示例：基础语音克隆、情感控制合成、向量精确控制情感和文本引导情感。
2025-12-12 11:38:43
2981
原创 consul集群搭建
Consul服务注册与集群部署指南 摘要：本文介绍了Consul服务网格的安装配置流程，包括二进制文件下载、端口规划、集群启动与验证方法。详细说明了如何通过Shell脚本启动多节点集群，并提供了集群状态检查命令。同时展示了如何开发一个简单的Flask HTTP服务，包含健康检查、就绪检查等标准接口。最后提供了使用Python注册服务到Consul的代码示例，包含服务注册函数和健康检查配置。全文涵盖了从Consul集群部署到服务注册的完整流程，为构建分布式服务发现系统提供了实用参考。
2025-11-29 18:00:53
940
原创 本地部署阿里最新开源的Z-Image
本文介绍了阿里最新开源的文生图大模型Z-Image的本地部署方法。内容包括环境准备（创建Conda环境、安装diffusers、PyTorch等）、从ModelScope下载模型、编写生成图像代码并测试。示例生成了一张zwplayer播放器海报和一张女孩图像，模型运行需约22GB GPU内存，生成速度快且能较好理解提示词，尽管部分汉字渲染略有瑕疵。整体上，Z-Image是一个高效、可本地部署的文生图模型，适合开发者使用。
2025-11-29 16:23:01
6887
4
原创 AI应用数据监控框架
本方案构建了一套高并发、分布式AI模型数据处理管道，旨在可靠处理ASR、LLM、TTS等模型的高吞吐量输入输出数据。系统采用生产者-消费者模式与事件驱动架构，通过Kafka实现系统解耦与异步通信。Web API基于FastAPI实现高并发接入，消费者服务采用多实例并行处理，结合连接池与批量插入优化MySQL持久化。方案通过并行处理、消息缓冲、压缩传输等策略保障低延迟与高吞吐，支持水平扩展，并具备完整监控与容器化部署能力，为企业级AI应用提供可靠、可扩展的数据处理基础设施
2025-11-28 19:25:08
417
原创 MCP Server 启动和应用
本文将分享一个基于**可流式HTTP协议** 的MCP服务开发与接入实践。在该实践中，我们以**Cherry Studio**作为MCP客户端，通过配置大语言模型，实现了对话交互与MCP工具的调用。
2025-10-23 15:37:22
600
原创 在3090卡服务器上面进行funasr模型微调
文本记录了在3090卡上对实时asr模型进行微调的过程，包括数据准备、模型微调、验证微调后的模型。
2024-05-26 08:45:49
5616
10
原创 colab使用本地数据集微调llama3-8b模型
在Google的Colab上面采用unsloth,trl等库，训练数据集来自Google的云端硬盘，微调llama3-8b模型，进行推理验证模型的微调效果。保存模型到Google的云端硬盘可以下载到本地供其它使用。
2024-05-15 15:19:20
1783
原创 简单的LangGraph示例
摘要：一个开箱即可使用的LangGraph示例，方便学习LangGraph的各种概念，并可以在PyCharm中跟踪调试各个变量的值。
2024-05-01 09:21:10
2954
原创 Swift 3 中函数参数的说明
Swift是苹果新推出的用于苹果系列设备开发的语言，由于是发布时间不长，因此有些东西老在变化中，在百度或者google上搜索能找到很多相关的说明，但因为过时了，很多都是错误的。Swift的函数，也包括类中的方法，在3.0版本中都统一了。简单来说就是：1.有参数标签（argument label）的，在函数调用时必须包含参数标签； 如后面代码中getMyAge()函数的MyName就是一个参数标签。2.如果该函数没有写明参数标签，默认为形参名。 如后面代码中的Person的构造函数及getI
2017-05-25 17:30:05
1703
原创 android和iOS中打包html5
目前有一个项目想使用html5实现业务逻辑，同时发布成android和iOS 移动app，这个涉及到如何将这些html、图片、js打包进app并在webview中装载html。下面是具体细节
2016-06-16 21:14:18
5112
原创 phpcms中session的处理
session_id($session_id); session_start(); session_regenerate_id();
2016-06-01 22:33:13
4246
原创 移动终端播放器的探索历程
android和iOS系统原生的播放器，不支持字幕，因此需要找一款能支持外挂字幕文件的播放器。一、移动终端播放器1. Vitamio是一款 Android 与 iOS 平台上的全能多媒体开发框架，使用了FFmpeg做为媒体解析器和最主要的解码器。但ios没有合适的播放控制界面，更要命的是永久授权需要80万，太贵了。2. ExoPlayer是一个google在2014年才推出的介于现
2016-04-17 19:44:38
1097
原创 vlc for android中的数据绑定(Data Binding)
数据绑定(Data Binding)在布局文件中实现数据绑定申明，使数据的变化引起视图的自动更新，减少逻辑代码，从而在Android中方便地实现MVVM的开发模式。vlc for android中用到了数据绑定（databinding）,下面看一个例子.
2016-04-08 22:13:48
1368
原创 red5搭建直播转播服务器
以前都是用虚拟机安装linux，然后使用nginx配置rtmp模块进行直播转播，后面感觉这个太麻烦了，因此试图采用更直接的方式，最后选择了red5作为服务器。
2016-04-07 15:54:09
3841
1
原创 android中的@{} @+id ?/attr
一.@代表引用资源1.引用自定义资源 如：android:text="@string/apptitle"2.引用系统资源 如：android:textColor="@android:color/white"3.@+id/资源ID名 表示该该资源ID存在则使用该资源ID，如果不存在则创建一个新性的。如:android:id="@+id/player_contro
2016-04-06 18:37:19
888
确然转码大师
2012-04-06
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人