u010249118的博客

原创 LLM的工具调用能力（如Function Calling）

核心机制LLM通过生成符合工具接口的指令（如JSON参数），触发外部工具执行。例如，用户提问天气时，模型生成{"location": "北京", "date": "2025-03-22"}，系统调用天气API获取数据。分工明确：LLM仅负责决策和参数生成，实际执行由业务系统完成。技术演进提示工程：通过Few-shot示例引导模型输出特定格式（如ReAct框架）。例如，动态选择语义相似的示例可提升准确率。模型微调：如Toolformer模型通过插入API调用标记训练LLM，使其自主决定何时调用工具。

原创 LLM之向量数据库Chroma milvus FAISS

需求优先级快速开发选Chroma，超大规模选Milvus，极致性能选FAISS。技术栈适配若需结合图数据库或多模态搜索，可考虑 Weaviate（未在问题中提及，但常与 Milvus 对比）。

原创 大模型量化 - BitsandBytesConfig

BitsandBytesConfig 是 Hugging Face Transformers 库中用于配置大模型量化参数的核心类，通过调整量化位宽、数据类型等参数，可在保持模型性能的同时显著降低显存占用。

原创 AI与GPU 之 CUDA

CUDA通过降低GPU编程门槛、提供高效计算库和持续生态建设，成为加速计算的行业标准。其技术壁垒不仅体现在硬件性能，更在于构建了从开发工具到应用生态的完整体系。

原创 LLM大模型下载方式

如需具体模型的完整下载步骤或更多开源 LLMs 列表，可参考 [网页1] 的 15 款热门模型盘点及 [网页2][网页4] 的技术文档。提供中文界面及国内服务器加速，支持直接搜索并下载主流模型（如 Qwen、ChatGLM 等），适合不熟悉命令行的用户。命令克隆仓库，但需注意此方式不支持断点续传且会包含历史版本，可能占用更多存储空间。此方式自动缓存模型文件，适合开发者快速集成到项目中。

原创 大模型LLM部署方式

建议根据实际需求选择方案，企业级服务优先考虑vLLM或TGI，个人用户可尝试Ollama或Hugging Face本地加载。若需完整代码示例，可参考网页2的VLLM实战或网页5的TGI部署案例。：高并发、低延迟的API服务，需分布式推理支持。：快速创建可分享的Web应用。：个人开发、快速原型验证。

原创 Gemma3、QwQ、DeepSeek-R1、Llama3.3和Phi4五大模型对比

如需进一步技术细节（如训练方法、量化方案），可参考各模型的官方文档或技术报告。

原创 检索增强生成（2）本地PDF & 本地嵌入模型

【代码】检索增强生成（2）本地PDF & 本地嵌入模型。

原创 使用huggingface-cli下载模型

通过上述步骤，可高效下载并管理 Hugging Face 模型。若需进一步优化速度，可参考镜像站手动下载或结合多线程工具（如。输入从 Hugging Face 官网生成的 Token（Settings → Access Tokens）。或系统环境变量以持久生效。此配置将覆盖默认缓存路径。

原创 RAG评估指标 Recall、MRR、NDCG

指标核心目标适用场景局限性Recall减少漏检疾病诊断、安防检测忽略误检，需与 Precision 平衡MRR优化首位结果质量导航搜索、事实查询忽略后续结果，仅关注首个命中NDCG多等级排序质量评估推荐系统、个性化搜索计算复杂，需明确相关性等级定义参考资料：Recall 的定义与目标检测应用；：MRR 的计算与搜索场景；：NDCG 的原理与代码实现。

原创 数据集 MS MARCO

MS MARCO通过真实数据、复杂场景和开放性设计，成为机器阅读理解领域的标杆数据集。它不仅推动了问答系统的技术进步（如百度RocketQA、猿辅导MARS模型），还为智能搜索、虚拟助手等实际应用提供了训练基础。其影响力可类比ImageNet在计算机视觉领域的地位。

原创 检索增强生成RAG with LangChain、OpenAI and FAISS

【代码】检索增强生成RAG with LangChain、OpenAI and FAISS。

原创 系统架构定义

体（结构）：系统是由组件组成，完成某一特定功能或一组功能的组件集。组件集还包括连接件和约束规范。体（结构）：系统中组件的组织方式和设计原则。组织方式包括组件间的关系，以及组件和环境的关系。用（功能、作用）：系统用于完成环境中（上下文）的一个或多个任务。用（功能、作用）：对系统功能进行抽象，指导系统的设计和实现。3.长生命周期系统的扩展问题。1. 复杂的需求分析问题。2.非功能属性的设计问题。5.业务流程再造难的问题。

原创 Rust入门 - 所有权 ownership

内存模型引用解引用通用错误。

原创 Rust入门 - function

原创 Rust 入门- 数据类型 data types

scalar tyoes:compound types:

原创 RUST入门 - Prelude & 变量，常量，变量遮蔽

【代码】猜数字RUST。

原创 java 版本切换脚本

【代码】java 版本切换脚本。

原创 rust实现web服务器（代码注解版）- 1.2

【代码】Rust web服务器 代码注释。

原创 rust实现web服务器（代码注解版）- 1

【代码】rust实现web服务器（代码注解版）- 1。

原创 闭包 Closure

闭包是一种匿名函数，它可以将函数赋值给变量作为参数传递给其它函数允许捕获调用者作用域中的值let x = 1;assert_eq!

原创 Rust 删除排序数组中的重复项

【代码】Rust 删除排序数组中的重复项。

原创 Rust 移动零

移动到数组的末尾，同时保持非零元素的相对顺序。，必须在不复制数组的情况下原地对数组进行操作。，编写一个函数将所有。

原创 Rust 加一

给定一个由 整数 组成的 非空 数组所表示的非负整数，在该数的基础上加一。最高位数字存放在数组的首位， 数组中每个元素只存储单个数字。你可以假设除了整数 0 之外，这个整数不会以零开头。

原创 缓存技术 - Redis

Redis 缓存

原创 负载均衡技术

负载均衡技术

原创 OpenSSL 证书

X.509 OpenSSL 证书

转载 设计模式介绍

设计模式 设计模式 设计模式

原创 软件架构风格

软件架构风格 4+1视图架构

原创 软件工程 - 需求工程

需求工程

原创 内存管理 (Memory Management)

内存管理 (Memory Management) 页式存储段式存储段页式存储

原创 ELK教程4 - filebeat

ELK教程4 - filebeat， 输出到logstash

原创 ELK教程2 - kibana

ELK教程 - 2.安装Kibana

原创 ELK教程1 - elasticsearch

ELK教程 - 1.安装elasticsearch

原创 ELK教程3 - logstash

ELK教程 - 1.安装logstash

原创 数据校验码

数据校验码 奇偶校验码 循环冗余码（CRC码） 海明校验码

原创 流水线计算公式及吞吐量

流水线计算公式及吞吐量

原创 软件许可（License）授权方案

软件许可（License）授权方案

转载 专利的定义和申请

专利的定义和申请

转载 机械磁盘结构与组成

机械磁盘结构与组成