年轻即出发，

或者，gpu-memory-utilization取值0-1之间，默认取值0.9，之所以增加gpu-memory-utilization参数，是因为DeepSeek 的"max_position_embeddings": 131072，远远大于qwen3的"max_position_embeddings": 40960。解释:比如跑Qwen3-8B 模型，--tensor-parallel-size=2 表示将一个层中的计算任务分成2份，在2个 GPU 之间并行执行。利用vllm进行部署，

SearXNG 是一款免费、开源的元搜索引擎，能够聚合来自多达 200 多个搜索服务的结果，同时为用户提供强大的隐私保护。简单来说，SearXNG 是一个可以私有化部署的开源搜索引擎，既满足了用户对隐私的需求，又提供了灵活的自定义选项。2、基于marp生成的ppt质量很低，和主流的AIPPT差距天壤之别，更建议基于AIPPT来生成，但是AIPPT需要付费。- json，扩展数据返回格式，增加json，否则设置SearXNG插件，添加访问search接口会报错403。这里直接安装的windows版本exe。

论文提出BERTSCORE，一种基于 BERT 上下文嵌入的文本生成评估指标，通过计算候选文本与参考文本的 token 级余弦相似度（结合贪心匹配和可选的逆文档频率加权）评估语义等价性。重要的是，这些嵌入模型捕捉的是单词在上下文中的含义，而不是静态的单词表征。：候选文本（生成文本）和参考文本均使用与所使用的预训练模型（如 BERT、RoBERTa）相对应的标记化器进行标记化。：对于候选文本中的每个标记，BERTScore 会计算其与参考文本中每个标记的余弦相似度，从而创建一个相似度矩阵。

可以直接使用现有分词器，如 GPT-2 的分词器用于 OPT 和 GPT-3，而当语料库涵盖多个领域、语言和格式时，专门针对预训练语料库定制的分词器可能带来更多优势。该分类器通常使用从高质量数据源（例如维基百科）精选的数据作为正样本，将待评估数据作为负样本，进而训练一个二分类器，该分类器生成评分用于衡量每个数据实例的质量。这种方法通过设计一系列规则或策略来识别和删除低质量的数据，这些规则或策略基于对数据特性的理解和分析，可以提高数据的质量和可用性。常见的质量过滤方法包括基于分类器的方法和基于启发式的方法。

问题定义：QA 抽取，即从给定的文本中抽取出问题（Question）和答案（Answer）对，是自然语言处理（NLP）领域中的一项重要任务。在构建基于向量存储的知识库时，文档通常以叙述或对话形式存储。然而，用户的查询大多是问答形式。通过在向量化之前将文档转换为Q&A格式，我们可以提高检索相关文档的可能性，并减少检索不相关文档的风险。

再读 BERT，仿佛在数字丛林中邂逅一位古老而智慧的先知。初次相见时，惊叹于它以 Transformer 架构为罗盘，在预训练与微调的星河中精准导航，打破 NLP 领域长久以来的迷雾。而如今，书页间跃动的不再仅是 Attention 机制精妙的数学公式，更是一场关于语言本质的哲学思辨 —— 它让我看见，那些被编码的词向量，恰似人类思维的碎片，在双向语境的熔炉中不断重组、淬炼，将离散的文字升华为可被计算的意义。

大语言模型（LLM）是非常庞大的深度学习模型，它们在大量数据上进行预训练。其底层的Transformer是一组神经网络，由具有自注意力能力的编码器和解码器组成。编码器和解码器从文本序列中提取含义，并理解其中单词和短语之间的关系。Transformer神经网络架构允许使用非常大的模型，这些模型通常包含数千亿个参数。如此大规模的模型可以摄取大量数据，这些数据通常来自互联网，也可以来自如包含超过500亿个网页的Common Crawl，以及约有5700万页面的维基百科等来源。语言和交流的过程可以简化为计算吗？语言

在请求时，需先前往应用左侧导航的 “API Access” 部分，在此可查看文档和管理访问凭据。为保障安全，API 密钥应通过后端调用，避免在前端代码中暴露。而对话应用则调用 chat - messages API，首次调用发起对话，后续通过返回的 conversation_id 维持会话，实现与用户的持续问答交互。（1）通过接口请求和基于dify网页请求2者的结果基本是相同的，但是细节处还是有些差别，感觉应该是dify网页上还有一些后续的完善和处理的操作。代码中包含了阻塞式请求、流式请求2种请求方式。

类似dify一样，有空间管理的概念，dify是一个用户一个工作空间，免费版不允许自己修改多用户多租户，主要是限制了to C的企业。（1）Dify的chunk分段不是很好，如果经过人工优化后，两者的效果是相当的。（2）比如第一个问题，joybuiler会把不相关的文件也召回，这点不如dify，但是回答的还是正确的。Joybuilder的空间比较灵活，没有那么多限制，一个用户可以同时开启多个空间，空间也有权限管理。知识库的召回模式也是默认的，没有像dify那样暴露较多，可以个性化设置。

Gitee AI / 阿里通义 / 百度千帆 / DeepSeek / 抖音豆包 / 智谱清言 / 零一万物 / 讯飞星火 / OpenAI / Gemini / Ollama / Azure / Claude 等大模型。模型基于ollama配置的qwen、deepseek等模型。切片管理只可以进行删除操作，不能进行编辑。是Java生态下企业级AIGC项目解决方案，集成RBAC和AIGC大模型能力，帮助企业快速定制AI知识库、企业AI机器人。新建一个政务问答的智能体，并进行提示词、知识库、模型等的配置。

Solution类初始化语音合成引擎，在chat_with_ollama方法中，持续监听语音输入，调用 OpenAI 兼容模型获取回复，实现语音播报并更新对话历史。主程序初始化语音识别模型，启动各功能模块并开启 Tkinter 主循环，使应用程序能正常运行。网页端Web 语音 API，例如 Web Speech API 或者 Google Cloud Speech-to-Text API 等。采用vllm框架，部署DeepSeek-R1-Distill-Qwen-7B模型。模型下载，大概1.99G。

MCP 是 Model Context Protocol（模型上下文协议），是一种开放标准协议，旨在为大型语言模型与外部数据源、工具和服务，提供标准化的双向通信接口，核心特性包括支持单一协议连接多种工具和服务、AI 智能体可动态发现可用工具、基于双向通信机制实现实时交互、本地与远程兼容，以及内置标准化访问控制确保安全等。HDD（机械硬盘）和 SSD（固态硬盘）作为数据的长期存储介质，HDD 适合大容量、对读写速度要求不太高的数据存储，而 SSD 以其高速读写性能，常用于存储需要频繁访问的数据。

第二个节点，HTTP请求主要实现一个OCR识别的api post请求。实现过程，刚开始我是基于URL进行图片传递的，有问题，一直卡着过不去，后来换成基于bytes传递。第二个节点，LLM2选用的模型为Pro/Qwen/Qwen2-VL-7B-Instruct。思路1：基于OCR的思路进行作文文字的提取，再将提取的文字传给LLM进行点评。最后一个节点直接回复大模型的输出，LLM2/{x}text。第三个节点，LLM模型采用qwen2.5-14b的模型。其中OCR识别采用的百度的paddleOCR（

其实收集道这个需求，本来我以为只能做做选择题、填空题，甚至对于填空中的根号、分数啥的我也是不自信的，至于简答题，需要按步骤给分，我就更不自信了。但是实际做下来，发现VL大模型的强大远超我的想象。彻底颠覆了OCR的模式，这或许就是未来的一种趋势了吧。最后回复中，需要依次输出3个LLM的输出结果，设置如下，第二个LLM模型，上下文设置为第一个LLM的text。第三个LLM模型，上下文设置为第二个LLM的text。第一个LLM模型，SYSTEM中设置如下，分辨率选择高、低都可以，我这里选的低。

技术门槛的降低和功能的增强，正在为我们打开一个 AI 无处不在的未来...MCP 可能不是完美的协议，但在大模型时代，它就像 AI 的“万能插头”，让模型能连上现实世界。这些场景的实现，只需与 AI 简单对话，MCP 就会像一个无形的桥梁，连接起各种服务，让繁琐的操作彻底消失。提示词（Prompts）提示词是服务器提供给AI的预写消息或模板，帮助AI理解如何使用资源和工具，例如，服务器可能告诉AI：“你可以添加任务，试试说‘添加任务：买牛奶’”，从而帮助用户更轻松地完成任务。

第一，自己从0开始实现RAG，优点是灵活度高，可以定制，召回有保证，缺点是工作量大。3、融入“知识图谱”技术，将文档中的实体和属性形成可解释的知识图谱，在检索的时候，通过问题中语义实体或关系，基于知识图谱库获取和该问题推理相关的上下文（事实或逻辑），让大模型按照可解释的推理过程进行问题的分解和答案生成。首先通过模型进行关键词抽取，这里可以通过传统的nlp技术进行分词，也可以通过大模型进行分词，然后进行关键词按照同义词做扩充，找到关键词的候选列表，最好根据关键词候选列表调用explore方法召回局部子图。

数据库poetry中包含4张表，分别是poems，poems_author，poetry，poetry_author。通过搭建一个支持post请求的http服务，基于该服务实现SQL的查询结果输出。第一个LLM实现将用户提问转化为SQL，模型选择qwen2.5-14b模型，可以基于数据库进行多表的查询汇总，输出结果，并以表格、柱状图等形式展示。{"sql_query": "LLM-生成SQL/{x}text"}开始-->LLM-->Http请求-->LLM-->直接回复。，请求模式为POST，

GitHub:Google Research 团队发表的论文《Distilling Step-by-Step!》提出了一种创新的知识蒸馏方法，不仅能有效减小模型规模，还能使学生模型在某些任务上超越其教师模型。"Step-by-Step Distillation" 方法的核心创新在于其对推理过程的重视。该方法不再将 LLM 视为简单的输入输出映射器，而是着重提取其解决问题的思维链 (Chain-of-Thought)。这就像在数学教学中，不仅要求学生得到正确答案，更要理解完整的解题步骤。

在技术上，QLoRA涉及量化（quantization）技术，将模型的一部分权重参数存储在较低精度的数值格式中，以此减少内存使用和计算量，同时结合LoRA的低秩调整，让适应过程更加高效。与 LoRA 不同的是， QLoRA 会将插入的低秩适配器层的部分权重进行量化（通常是量化为INT4或INT8），在保持性能的同时显著降低模型的存储和计算需求。例如，对于法律、医疗等专业领域，可以使用少量的标注数据对预训练模型进行微调，帮助模型理解特定行业的术语、规则和知识，进而提升专业领域的问答能力。

索引模式采用向量检索+全文检索这样的混合检索模式，其中向量检索Embedding 模型使用bge-large-zh-v1.5，排序Rerank 模型使用bge-reranker-large模型，其他参数TopK设置为0，阈值为0.7。对于用户的提问首先进行知识库检索，输出的内容分2个分支，第一个分支进入LLM大模型，第二个分支进入代码执行模块提取出出处标题和内容。项目需要实现对于41个公司规章制度文件的检索，输出检索出自文件名称、命中的问题答案内容，并且保证原始规章制度的格式输出，不允许加工修改。

具体来说，对于模型中的每一个线性层，假设其输入为\(x\)，原始的线性变换为\(y = Wx\)，在应用 Lora 方法后，线性变换变为\(y = Wx + \Delta Wx\)，其中\(\Delta W = BA\)，\(A\)是一个从输入维度映射到低维空间的矩阵，\(B\)是一个从低维空间映射回输出维度的矩阵。：在训练过程中，只对低秩矩阵进行计算和更新，计算量大幅降低。：因为微调后的模型只增加了少量的低秩矩阵参数，模型的大小增加有限，这有利于模型的快速部署，特别是在对部署时间和资源有限制的场景中。

语言模型」是一种「人工智能系统」，旨在处理、理解和生成类似人类的语言。它们从大型数据集中学习模式和结构，使得能够产生连贯且上下文相关的文本，应用于翻译、摘要、聊天机器人和内容生成等领域。

在2025.3.1，CCF在太原师范学院举办了关于DeepSeek技术惠普引领产业变革论坛的会议。整体流程基本就是开幕词--3场演讲--茶歇--2场演讲--panel--结束。最后是圆桌panel，会议最后还赠送了一个CCF的黄色笔记本。和百信有联合研发的大模型一体机。

综合来看，如果您是专业的科研团队，拥有强大的计算资源，追求极致的推理速度，那么 SGLang 无疑是首选，它能像一台超级引擎，助力前沿科研探索；要是您是普通的个人开发者、学生，或是刚踏入 AI 领域的新手，渴望在本地轻松玩转大模型，Ollama 就如同贴心伙伴，随时响应您的创意需求；Ragflow，比较笨重，具备用户管理，集成了RAG，速度很慢，使用软件涉及了es，minio，mysql等，基于助手的产品设计思路不苟同（http://10.1.12.10:80/）开源大语言模型，采用7B和67B两种配置；

OLLAma安装一、在线部署方式拉取镜像：安装cuda版：安装cpu版本：ollama部署模型：