weixin_39873434的博客

原创 03｜高吞吐 RAG PoC：vLLM + TEI + Milvus 的工程化开局

这篇文章介绍了一套基于vLLM、TEI和Milvus/Qdrant的RAG（检索增强生成）系统架构方案。该方案通过技术组件组合优化显存管理、嵌入服务独立化和向量检索可靠性，并提供了包含API网关、检索编排层、生成层和观测评测的完整参考架构。文章明确了PoC验证目标，详细说明了分块策略、召回参数、重排机制等关键调优逻辑，建立了线上线下结合的评测体系，列举了实施风险，并规划了包含部署方案和容量规划的交付成果。整套方案针对客服知识库等业务场景设计，强调生产环境适用性和性能优化。

原创 02｜新手 0 成本跑通本地问答：Ollama + Open WebUI 轻量组合实战

本文介绍了一个快速搭建本地问答Demo的方案，采用Ollama管理本地模型+Open WebUI构建可视化界面。核心步骤包括：安装Ollama并下载7B-8B中文模型，配置WebUI前端，通过内置知识库或简化RAG实现文档问答功能。建议优化prompt结构化、控制知识库规模（200-500片段）并启用缓存。注意事项包括内网访问安全限制和明确单机性能边界。该方案适合作为内部评审原型，后续可基于评估结果升级为工程化架构。全文突出了"轻量快速实现核心功能"的设计理念。

原创 用 aicode 一页式导航摸清 AI 落地主赛道（RAG / Agent / 推理 / 向量库 / 评测）

AI工程落地需先明确赛道（如RAG、Agent等），再选择适配组件组合。aicode提供赛道导航与首选清单，帮助快速定位解决方案。使用时需：1）按业务目标选择赛道；2）查阅该赛道下的主打组件；3）参考预设组合方案快速实施；4）对照常见问题清单查漏补缺。典型误区包括过度关注模型而忽视问题本质、组件版本不匹配、缺乏评测闭环等。示例：企业知识库RAG可采用TEI+Milvus+vLLM+LangChain+RAGAS组合方案，并设定明确验收指标。产出物包括赛道导览、组合卡片和问题对照表等实用工具。

原创 [特殊字符] aicode：一站式「AI 开源项目速查库」

AI开源项目井喷式增长导致信息过载，aicode开源清单应运而生。它系统梳理了LLM推理、RAG、Agent等主流赛道，精选成熟度高、易落地的项目，提供典型组合方案（如vLLM+TEI+Milvus的RAG方案）。该清单既帮助初学者快速建立认知地图，又为技术团队提供PoC参考路径，支持持续共建更新。通过赛道化索引和工程视角筛选，有效降低学习门槛和试错成本，助力开发者高效选型与实践。

原创 我这台2012年款 MacBook Pro 能用 OpenCore-Legacy-Patcher 安装“最新 macOS”吗？需要满足哪些硬件条件？

摘要：2012款MacBook Pro可通过OpenCore Legacy Patcher（OCLP）安装macOS 15 Sequoia，但需满足内存≥3GB等条件。苹果官方仅支持该机型升级至Catalina，因此需借助OCLP实现新系统安装。安装后需执行Root Patch恢复旧显卡功能，但iPhone Mirroring等新功能不可用。建议8GB内存+SSD以获得更好体验，系统更新后需重新打补丁。OCLP社区成熟度高，支持Sonoma/Sequoia系统及OTA更新。具体适用机型包括2012年非视网膜

原创 GLM-4.5-Air：一款面向 Agent 时代的“轻旗舰”开源大模型

摘要：智谱AI推出开源大模型GLM-4.5-Air，采用稀疏MoE结构（106B总参数/12B激活参数），支持128K上下文和双模式推理（思考/即时模式），在Hugging Face和GitCode以MIT协议开源。该模型在4×A100/2×H100配置上可流畅运行，适用于长文档处理、代码生成、智能客服等场景，并支持函数调用API和本地化部署。其低显存需求（相当于70B稠密模型）和开源特性，为企业私有化部署提供高性价比方案。未来将支持FP8推理、LoRA微调和多模态扩展。

原创 【收藏级】数学建模“全家桶”：从0到国奖，这一篇就够！

《数学建模资料全家桶限时免费领：真题论文代码一站搞定》 这份数学建模学习资料包涵盖国赛、美赛等10+赛事20年真题及评阅要点，包含Python/Matlab/LaTeX代码模板、B站爆款课程和985高校内部PPT。资料按算法和比赛双维度分类，提供可直接复用的代码包和获奖论文范例，帮助用户快速掌握建模技巧。配套视频课程和答疑群支持学习，适合建模新手、参赛团队和科研人员。通过"基础学习-真题训练-论文研读-代码复现"四步法，有效提升建模能力。现限时免费领取，助力参赛者高效备赛。

原创 Cherry Studio：快速入门指南（开发环境设置）

本快速入门指南详细介绍了如何从源代码克隆 Cherry Studio 项目，配置必要的开发环境（包括特定版本的 Node.js 和 Yarn），安装依赖项，并在本地以开发模式启动应用程序。本指南不涉及预构建应用程序的安装或高级功能的使用。此命令会读取项目根目录下的 yarn.lock 文件，并使用上一步配置好的 Yarn 版本下载并安装所有必需的项目依赖项。完成本指南后，用户将能够在本地成功运行 Cherry Studio 的开发模式实例，并了解如何进行必要的初始配置以开始与 LLM 进行对话。

原创 GPT-4o 生成各种风格图片的提示词prompt集合

GPT-4o的图像生成功能正在彻底改变创意表达的方式，它不仅支持生成高质量的图片，还能根据用户的需求灵活调整风格、细节和主题。通过中文指令，用户可以轻松生成各种风格的图片，包括卡通风格、写实风格、科幻风格等，满足从个人创作到商业应用的多样化需求。GPT-4o对中文指令的支持非常友好，只需清晰描述你的需求，就能生成符合预期的卡通风格图片。在指令中明确指出“卡通风格”，并进一步细化，比如“吉卜力风格”“3D卡通”“像素风卡通”等。描述具体的细节和场景，帮助AI更好地理解你的需求。

原创 约会不再迷路！MCP+AI，10分钟一键锁定最佳见面点

你是否曾经因为和朋友约见面，却因为地点选择问题而感到尴尬？比如，双方都以为对方知道具体位置，结果却跑到了完全不同的地方？最近发现了用AI和高德地图MCP解决这个问题的绝佳方法。这是我将推荐结果生成的一个网页，效果还不错。

原创 五月天限定团综《陪你守岁》：揭秘成员昵称背后的故事

五月天的《陪你守岁》是一个不容错过的节目，它不仅记录了五月天的成长和变化，也见证了他们与粉丝之间的深厚情感。让我们一起跟随五月天的脚步，回顾过去，展望未来，感受音乐的力量和生活的美好。五月天，这个华语乐坛的传奇乐队，以其独特的音乐魅力和深厚的粉丝基础，一直活跃在大众视野中。《陪你守岁》不仅仅是一个普通的综艺节目，它包含了五月天对音乐的热爱、对生活的态度，以及对粉丝的感激。在节目中，五月天不仅会分享他们的音乐，还会展示他们私下的生活和互动，让粉丝们能够更加深入地了解这个乐队。

原创 编译时权限控制

原创 Byzer 引擎部署指引

Byzer 引擎为 Byzer-lang 提供了 Runtime 执行环境，有多种部署方式可以部署 Byzer 引擎，用户可以根据自己的情况和部署环境（开发，测试，生产）来选择不同的部署方式。 Byzer 引擎本质上来讲就是一个 Spark Service 实例， 分为 Driver 端和 Executor 端。得益于 Spark 的生态， Byzer 引擎部署从技术架构上来讲，可以同时支持Lo...

原创 Byzer-LLM 快速使用指南

安装 参考文档：https://docs.byzer.org/#/byzer-lang/zh-cn/byzer-llm/deploy 注意，即使你已经有安装过大模型相关的环境，建议你依然使用裸机全自动化部署, Byzer LLM 会创新一个 byzerllm 用户，该用户的环境变量和配置文件都是独立的，不会影响到你的其他环境。 一旦安装好环境之后，就可以通过http://127.0.0.1:900...

原创 Byzer-LLM 如何处理PDF

本文内容同时适合其他非结构化文本，诸如 Word,Markdown 等。 首先我们可以以二进制文本方式加载 PDF: load binaryFile.`/tmp/upload/**/*.pdf` as pdfs_temp; select content from pdfs_temp as pdfs; !emptyTable; 这样会递归加载所有 PDF 文件。注意，我们最后使用 !emptyTab...

原创 Byzer-LLM 示例

在这个章节我们会基于 Byzer-LLM 构建一个写案例，帮助大家理解 Byzer-LLM 引擎的使用方式以及带来的价值，同时帮助企业快速验证效果以及 快速部署到生产环境。 虚拟外教 构建一个虚拟外教，会涉及到三个大模型： 语音转文本大预言模型文本合成语音 我们分别使用： fast whisperLLama 13BBark 在继续后面的步骤之前，请确保按官方文档部署好环境。 部署 Fast Whi...

原创 Byzer SQL 和 Byzer Data+AI 数据库

背景 多年以来，SQL 一直在各路 solo。 什么计算机语言适合入门数据行业、交互快、用途广、可扩展性好？答案总是 SQL。 只有 SQL 开发者才能看得懂的笑话 一个 SQL 查询走进了一个酒吧，看到两张 Table，它和两张 Table 说，“我能 Join 你们吗？”有人会问，也许近些年 Py...

原创 Byzer SQL 设计原理

设计理念 在抽象业务能力的时候，数据的处理和流转承载着信息传递的核心任务，而数据的载体往往就是二维数据表或多维数据表，SQL 语言其实就是抽象在二维数据表上的各种数据操作。Byzer 语言的核心设计是万物皆表（Everything is a table），无论是结构化数据、半结构化数据、非结构化数据，我们希望用户可以非常容易的将任何实体对象通过 Byzer 来抽象成二维表，从而能够基于表来进行数据...

原创 Byzer 支持 JDBC 聚合下推

原创 Byzer 术语表

原创 性能调优实例

原创 集成测试框架设计

原创 Readiness 探针

原创 Byzer 元信息存储

原创 推理接口 API：/model/predict 接口

原创 脚本执行 API：/run/script 接口

原创 插件开发

原创 修改 Byzer-lang

原创 Byzer-python 并行度

原创 K8S 下的 Byzer-python 资源限制

原创 PyJava API简介

原创 模型部署

在 Byzer 中，我们可以使用和内置算法一样的方式将一个基于 Byzer-python 训练出的 AI 模型注册成一个 UDF 函数，这样可以将模型应用于批、流，以及 Web 服务中。接下来我们将展示 Byzer-python 基于 Ray 从模型训练再到模型部署的全流程 demo。 1. 数据准备 首先，安装tensorflow和keras: pip install keras tensorf...

原创 模型训练

原创 数据处理

原创 Byzer-python参数详解

原创 环境依赖

原创 Byzer-python 介绍

原创 外置 Estimator/Transformer 插件

原创 内置 Estimator/Transformer 插件

原创 插件日常操作