- 博客(351)
- 收藏
- 关注
RSS订阅原创 开源AI做PPT神器，本地部署，支持Ollama
Presenton本地跑。你可以用 OpenAI、Gemini、Claude 这些云端模型，也可以用 Ollama 跑本地开源模型，数据完全不出你的机器。你可以直接上传已有的 PPTX 文件，让它学习你的设计风格（颜色、字体、间距、布局逻辑），然后批量生成同风格的 PPT。官方管这叫"品牌 DNA"——你的模板一旦创建，后续生成的每一张幻灯片都能保持一致的设计语言。这对企业用户来说简直是福音。✅自定义模板与主题：用 HTML + Tailwind CSS 随便造，无限量创建✅AI 模板生成。
2026-01-01 12:24:44
469
原创 【开源项目】AI 账号控制中心，一键配置所有Agent
Quotio是一个原生 macOS 菜单栏应用，用 SwiftUI 写的，界面非常精致。统一管理你所有的 AI 账号，实时追踪配额，自动故障转移。说白了，就是在你 Mac 的菜单栏里放一个"AI 账号控制中心"，点一下就能看到所有账号的配额使用情况，不用再一个个网站登录去查了。这货在 GitHub 上已经有1.2k Stars，说明确实解决了很多人的痛点。🔌多Provider支持。
2026-01-01 12:16:55
310
原创 MiniMax M2.1 量化版来了
大家好，我是 Ai 学习的老章我看官方部署文档，虽然模型文件只有 230GB，但是如果想要支撑更高上下文达到理想效果，所需显存还是蛮高的：模型权重 220GB+ 每百万 Tokons 上下文需要 240GB 显存。推荐几个主流且稳定的量化版吧，本地跑起来成本低很多。
2025-12-31 14:00:00
97
原创 Gemini-CLI 进阶玩法，详细版
大家好，我是 Ai 学习的老章最近高频使用 Gemini-CLI，发现很多同学对其了解还是太少了专门在写一篇介绍几个高级用法。
2025-12-31 09:52:59
447
原创 我写了一个OCR测试工具：DeepSeekOCR、PaddleOCR 和 混元OCR
可以实现同样的提示词 + 图片/PDF，利用 Python 多线程并行调用 DeepSeek、Paddle 和 混元这三个模型的 API 进行解析，并将结果并排展示。最近的 OCR 大模型我都做了本地部署和测试，还写了一个 API 统一对接这三个模型。使用也很简单，图片/PDF 上传之后，输入提示词，没有特殊要求，使用默认就行。前端其实纯 HTML+CSS+js 实现，为了内网部署，不依赖任何 CND。感兴趣的同学可以试试，OCR 模型 API 部分替换成官方/第三方的 API。
2025-12-31 09:45:45
202
原创 DeepSeek-OCR本地部署（1）：CUDA 升级12.9，不重启，教程
大家好，我是 Ai 学习的老章DeepSeek-OCR 开源有段时间了，我曾详细测试过DeepSeek-OCR 官方项目 README:中有关于 vllm 0.8.5+cu118+transformers>=4.51.1 下进行的详细步骤，但是教程中在线推理部分 vLLM 还是 nightly 版本。我看网上大家根据官方文档进行部署，问题多多。正好，。
2025-12-30 15:51:37
1117
原创 科研神器，大模型阅读论文，免费用Gemini、Claude
【摘要】AlphaXiv是一款AI驱动的论文阅读神器，提供多项高效科研工具：支持与PDF文档对话、高亮引用、多语言查询、自动生成研究博客和BibTex引用。其浏览器插件可一键跳转arXiv等平台，集成Gemini3Pro等大模型免费使用。新增功能包括SOTA模型基准查询、论文地理分布可视化，以及DeepSeek-COR的API调用服务。该工具显著提升论文阅读效率，实现3分钟完成总结翻译，支持中英互转和跨文献概念关联。（149字）
2025-12-29 23:42:30
562
原创 动动嘴就能查数据库，这个开源项目有点猛
Wren AI 是我最近看到的 GenBI 赛道最成熟的开源方案之一。它没有走"LLM 直接生成 SQL"这条看起来简单但坑很多的路，而是老老实实做了一层语义抽象。这个方向是对的。官方文档写得也很清楚，把 RAG + LLM 查数据库的四大挑战（上下文收集、检索精度、SQL生成、协作）都点出来了，然后一一给出解决方案。这种"先讲问题再讲方案"的思路，说明团队对这个领域理解很深。如果你的团队经常有"让 AI 帮我查数据"的需求，值得认真评估一下。
2025-12-29 11:39:19
562
原创 PDF 文件翻译，我有4个方案推荐
本文汇总了4种AI论文PDF翻译方案：1）豆包插件-操作简单但样式损失大；2）沉浸式翻译arXiv版-完美保留HTML排版；3）BabelDOC开源工具-精准还原排版并优化公式处理，支持本地部署；4）PDF2Zh双语对照工具-基于Gradio实现但免费版较慢。各方案在翻译速度、排版保留和适用范围上各有优劣，为科研工作者提供了多样化的英文文献阅读辅助选择。
2025-12-28 21:20:31
671
原创 全模态大模型部署，vLLM-Omni 来了，100%开源
vLLM-Omni是由vLLM团队推出的全新开源框架，专为全模态大模型部署设计。它在原vLLM基础上扩展支持图像、视频、音频等多模态数据处理，并兼容非自回归架构。核心优势包括优化的KV缓存管理、流水线并行执行和灵活资源调度，性能显著优于Hugging Face Transformers。该框架支持主流开源模型如Qwen-Omni，提供OpenAI兼容API，并支持多种并行推理方式。安装可通过uv或Docker完成，支持离线推理和在线API调用，还提供Gradio交互界面。项目由中国开发者主导，未来将发布40
2025-12-28 19:24:10
1062
原创 vLLM 帮助文档翻译，模型相关
大家好，我是Ai学习的老章前文我介绍了vLLM部署多模态/全模态大模型的vLLM-Omni简介及安装其中最关键的自然是 ModelConfig（模型的配置选项）相关做个翻译，方便自己学习记忆，也分享给大家。
2025-12-28 19:18:50
443
原创 小米的大模型，就问你快不快吧
📄 技术报告：http://github.com/XiaomiMiMo/MiMo-V2-Flash/blob/main/paper.pdf。📝 博客文章：http://mimo.xiaomi.com/blog/mimo-v2-flash。🤗 模型权重：http://hf.co/XiaomiMiMo/MiMo-V2-Flash。🎨 AI 工坊：http://aistudio.xiaomimimo.com。我看了一下小米这个 MiMo-V2-Flash，也试用了一下，但。
2025-12-19 22:54:14
377
原创 大模型本地部署，小号的vLLM来了
一文中提到 2025 年最热门的项目分布在 AI 基础设施（vllm、ollama、huggingface/transformers）和持久的生态系统（vscode、godot、home-assistant）之间。唯一让我不满的是我在内网用 docker 起 vLLM，它太大了，足足 22 个 GB。这个推理引擎也是我最喜爱的，本号测试部署的 N 多大模型都是用它来部署的。时间关系，我还没有本地跑大参数模型，后续肯定要试一试的。这种小模型，时延更小，吞吐量更大，看起来是很不错的样子。
2025-11-18 13:44:29
692
原创 AI 时代，印度崛起了
GitHub 2025年度开发者趋势报告显示三大关键变化：1）生成式AI成为开发标配，超110万仓库使用LLM SDK；2）TypeScript超越Python成为最受欢迎语言；3）AI正在重塑开发者的工具选择。数据显示GitHub开发者数量突破1.8亿，印度新增520万开发者居首。AI基础设施项目增长最快，vLLM等推理引擎项目贡献者激增。TypeScript贡献者同比增长66%达榜首，Python仍主导AI领域但增速放缓。报告指出AI不仅加速编码，更深刻影响了开发者生态系统的演进方向。
2025-11-13 13:50:53
823
原创 Kimi-K2-Thinking 开源大模型新王，权威测试结果公布
与此前发布的 Kimi K2 Instruct 使用 FP8 精度不同，K2 Thinking 原生以 INT4 精度发布，结果是，K2 Thinking 仅约 594 GB，而 K2 Instruct 与 K2 Instruct 0905 略超 1 TB——从而在推理与训练中获得效率提升。总而言之，Kimi K2 Thinking 是一款特点鲜明的模型，它以卓越的智能和专业能力为开源领域树-立了新的标杆，证明了开源模型追赶甚至超越闭源模型的可能性。以编码为重点的评估基准，用于评估大型语言模型的性能。
2025-11-12 14:32:43
1300
原创 Kimi K2 Thinking 量化之后再量化，模型文件缩水60%，准确率85%，部署教程来了
Kimi K2 Thinking模型通过1-bit量化技术将594GB模型缩减至247GB，大幅降低部署成本。Unsloth团队采用MoE卸载技术，仅需8GB显存即可运行，支持CPU/GPU混合部署。部署流程分三步：编译llama.cpp、下载量化模型、配置MoE卸载参数。推荐使用UD-Q2_K_XL（381GB）版本平衡性能与精度。模型支持OpenAI API格式调用，并具备独特的"思考过程"展示功能。尽管量化后性能有所妥协，但为资源有限场景提供了运行超大模型的可能性。
2025-11-10 22:05:18
551
原创 迄今为止最大的开源模型Kimi K2 Thinking ，硬钢闭源模型
模型是具有通用 Agentic 能力和推理能力的思考模型，它擅长深度推理，并可通过多步工具调用，帮助解决各类难题。什么让它与众不同：⚡ 原生 INT4 量化 → 2 倍快速推理💾 占用内存减半，无精度损失🎯 256K 上下文，支持 200-300 次工具调用官方释放的基准测试结果：🔹 在 HLE (44.9%) 和 BrowseComp (60.2%) 上达到 SOTA🔹 最多可以执行 200 – 300 个连续的工具调用 无需人工干预。
2025-11-07 16:20:55
1131
原创 Ollama，危？llama cpp 的Web UI来了
现在 llama.cpp 迎来重大更新，它也有了自己的 Web UI，我测试了安装部署和自行打包，很多地方确实比 Ollama 还有方便好用。Ollama 背后执行推理的核心技术其实是由 llama.cpp 承担的，GGUF 模型格式也是由 llama.cpp 的作者所开发。目前硬伤是只能浏览器，想打包成 app 也可以，我使用的是 tw93 开发的 pake，一行命令即可，本地服务也可以打包成 app。然后启动 UI，也是命令行，为了快速测试，我调用 Qwen2.5 的 0.5b。
2025-11-05 16:20:02
555
原创 迄今为止最强的中文模型Qwen3-Max，实测，略失望
国产大模型发展迅猛，开源生态繁荣。Kimi、DeepSeek、智谱AI等推出创新模型，阿里成为全球开源模型数量最多的厂商。文章重点测试了阿里Qwen3-Max的表现：在器官分布、3D粒子星系等任务上表现优异，但处理复杂任务如SVG生成、3D动画等时存在不足，几何问题解答也出现错误。整体来看，国产大模型虽进步显著，但在复杂场景下的稳定性和准确性仍需提升。测试表明，当前开源大模型与顶级闭源模型仍存在差距。
2025-11-04 16:43:27
685
原创 Kimi CLI 有何不同？没有
大家好，我是 Ai 学习的老章市面上 CLI 类 AI 助手太多了，外面有Codex CLIGemini CLI，国内有Qwen CoderKimi-CLI出来，正好有空，测试一下怎么样。
2025-11-03 14:00:02
1156
原创 最好的大模型训练、微调教程.pdf
它也有PDF版本：https://huggingfacetb-smol-training-playbook.hf.space/the-smol-training-playbook-the-secrets-to-building-world-class-llms.pdf。你不需要从头到尾逐字阅读这篇博客文章，而且从目前来看，一次性读完整篇文章是不现实的（有点吃力）。我本想翻译，但是即便是网页版全文翻也非常慢，token消耗太多了。我是配合使用沉浸式翻译阅读的，之前我介绍过。大家好，我是Ai学习的老章。
2025-11-03 13:30:59
816
原创 一个强大的开源OCR工具，基于DeepSeek OCR
DeepSeek OCR App 是一个功能强大、界面美观且易于部署的开源OCR工具。无论你是需要从图片中提取文字、理解图片内容，还是需要从复杂的图表中提取数据，这个项目都为你提供了一个极佳的解决方案。对于希望在本地拥有先进OCR能力的用户和开发者来说，这绝对是一个不容错过的项目。
2025-10-24 16:56:16
1404
原创 论文阅读已死，alphaXiv 新功能，彻底颠覆科研工作流
该系统基于一种新颖的 DeepEncoder 架构，搭配 DeepSeek-3B-MoE 解码器，使用显著少于现有方法的视觉标记实现了最先进的 OCR 性能。然后就是 alphaXiv 使用 DeepSeek 最新开源的 OCR 模型，从超过 50 万篇 AI arXiv 论文中的表格/图表中提取了每个数据集，花费了 1000 美元 🚀 ，相比之前使用 Mistral OCR 完成相同任务将花费 7500 美元，处理 PDF 成本下降了 9/10。AI 时代论文暴增，看论文方式也该升级了。
2025-10-23 15:09:14
476
原创 一套完整的 RAG 脚手架，附完整代码，基于LangChain
简单来说，bRAG-langchain 是一个专注于探索LangChain 框架下 RAG 技术的开源项目。它不仅仅是代码的堆砌，更是一套系统性的学习路径，旨在帮助开发者理解并实践 RAG 的各种高级策略。项目巧妙地将复杂的 RAG 概念拆解成一个个独立的 Jupyter Notebooks，每个 Notebook 都聚焦于一个特定的主题，让你能够循序渐进地掌握 RAG 的精髓。项目为所有希望在 RAG 领域深耕的开发者提供了一个宝贵的资源库。
2025-10-22 15:28:05
1099
原创 Ollama 新动作，联网搜索、MCP、云端大模型，更强了
大家好，我是 Ai 学习的老章。Ollama 最近又搞了几个大新闻，不仅在免费云端模型里加入了强大的 Qwen3-VL，还推出了能让大模型联网的网页搜索 API。作为 Ollama 的忠实用户，我必须得带大家深入体验一下。
2025-10-17 16:31:19
761
原创 快手编程大模型真实水平，本地部署，实测
大家好，我是 Ai 学习的老章快手编程大模型 KAT-Dev-72B-Exp 开源了，在 SWE-Bench Verified 基准测试中的得分，开源模型首位。其他几个开源模型得分是：Qwen3-Coder（约 70%）、GLM-4.6（约 70%）、DeepSeek V3.1（约 67%）、Kimi K2（约 67%），能在阿里通义、智谱 AI、DeepSeek 和 Moonshot 的"围剿"下占领榜首，厉害！本文就简单介绍 KAT-Dev-72B-Exp 并本地部署后简单测试性能及水平。
2025-10-16 17:07:42
591
原创 Github 的新动作
大家好，我是 Ai 学习的老章现在的 AI 编程都在往命令行发展了，Claude Code、Codex CLI、Gemini-CLI、Qwen Coder 等等[[2025-07-18-Claude Code + Kimi K2 & DeepSeek 强强联合]]现在 Github 的 Copilot 也来了——GitHub Copilot CLI将 GitHub Copilot 智能编程助手的强大功能直接引入到终端，可以在本地与理解代码及 GitHub 上下文的 AI 助手进行同步协作。
2025-10-15 16:10:08
1199
原创 智谱GLM-4.5-Air量化大模型，本地部署，实测
大家好，我是 Ai 学习的老章之前对智谱 AI 的关注比较少，最近发布的的 GLM4.6 非常能打GLM-4.6 在编程能力、长文本处理、逻辑推理、信息检索、内容创作及智能体应用等六大核心领域实现全面升级。在公开测试基准中，该模型的代码生成能力已达到国际领先水平，与 Claude Sonnet 4 模型持平，是国内目前表现最优的编程专用模型。GLM-4.6 在在综合性能评估中位列全球第四，与阿里巴巴旗下 Qwen3-Max-Preview 模型并列中国区榜首，同时摘得全球开源模型桂冠。
2025-10-15 11:31:33
1839
原创 Chrome浏览器最新AI功能，是一坨
但是它的回复内容说是 Based on the information on the web page，却没有参考当前网页，而是直接联网搜索。点击 Yes，I’m in，后续使用时 Ctrl+G 快捷键可以调出 Gemini in Chrome。动作属实有点慢了，主打 AI 的浏览器 Arc、Dia 都早就火过 N 轮了，Chrome 略谨慎了。我目前在 Chrome 使用 AI，主要严重依赖沉浸式翻译和豆包插件，翻译、总结、提炼特方便。而且，同样的问题，用英语提问和中文回复，结果却天壤之别。
2025-10-15 11:02:27
364
原创 全球最小的AI超级计算机：本地跑大模型，秒杀Mac Mini
大家好，我是章北海Nvidia 又出新了——全球最小 AI 超级计算机 NVIDIA DGX SparkDGX Spark 配备 128GB 统一内存，可以在本地运行 2000 亿参数规模的大模型，微调 700 亿参数级别的大模型，它还支持开发者在本地创建 AI 智能体并运行先进软件栈。
2025-10-14 15:09:17
1053
原创 全球最小的AI超级计算机：本地跑大模型，秒杀Mac Mini
大家好，我是章北海Nvidia 又出新了——全球最小 AI 超级计算机 NVIDIA DGX SparkDGX Spark 配备 128GB 统一内存，可以在本地运行 2000 亿参数规模的大模型，微调 700 亿参数级别的大模型，它还支持开发者在本地创建 AI 智能体并运行先进软件栈。
2025-10-14 14:59:10
744
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人