- 博客(206)
- 收藏
- 关注
RSS订阅原创 linux 安装open webui
（Ubuntu、Debian、CentOS 等）上安装。如果遇到问题，可以告诉我具体的错误信息，我帮你解决！如果你想用 Open WebUI 调用。容器正在运行，表示安装成功。并指定一个可用的模型，例如。
2025-03-27 13:40:37
618
原创 MacOS 安装open webui
它是一个独立的 Web UI 应用，通常通过。如果你只是想使用 Open WebUI 连接。确保你的 macOS 上安装了。在运行，则安装成功。
2025-03-27 13:04:17
743
原创 rerank
Listwise：优化整个文档列表的排序质量（如LambdaMART）Pairwise：学习文档对的相对顺序（如RankNet）Pointwise：预测单个文档的相关性分数。embdedding模型微调。为什么需要rerank?
2025-03-25 14:34:05
102
原创 vscode连接远程服务器
这样，你就可以在 VS Code 里像本地开发一样操作远程服务器了！你要用它来做什么项目？在 VS Code 中连接远程服务器（Linux 服务器）通常使用。如果是首次连接，会提示输入密码或选择 SSH 密钥进行认证。如果需要经常连接服务器，可以配置。文件（Windows 在。
2025-03-25 10:16:47
747
原创 vscode连接远程服务器
这样，你就可以在 VS Code 里像本地开发一样操作远程服务器了！你要用它来做什么项目？在 VS Code 中连接远程服务器（Linux 服务器）通常使用。如果是首次连接，会提示输入密码或选择 SSH 密钥进行认证。如果需要经常连接服务器，可以配置。文件（Windows 在。
2025-03-25 09:22:00
475
原创 BLEU 评分的计算方法
BLEU（Bilingual Evaluation Understudy）是一种用于评估机器翻译、文本生成等任务的自动评测指标。它通过计算 n-gram 精确匹配率来衡量候选句子（模型输出）与参考句子（人类标准答案）的相似度。如果候选翻译的长度远短于参考翻译，直接使用 n-gram 精确率可能会导致过高的 BLEU 分数。为了平衡不同 n-gram 的影响，BLEU 计算 1-gram 到 4-gram 的精确度，并取。默认情况下，BLEU 计算 1 到 4-gram 的匹配率，权重均为。
2025-03-05 09:54:02
935
原创 LoraConfig参数说明
它是一种用于高效微调大语言模型（LLM）的技术，主要通过低秩矩阵分解来减少训练参数。配置的 LoRA 主要作用于。，适用于高效微调大语言模型。决定 LoRA 影响力，中，这些参数用于配置。
2025-03-04 14:15:48
458
原创 模型训练时，英伟达gpu状态解读
（NVIDIA System Management Interface）的输出，显示了。你当前是在训练还是推理？这张图片是 nvidia-smi。
2025-03-03 17:39:27
305
原创 pytorch-gpu版本安装(英伟达gpu驱动安装)
如果没有相关输出，说明驱动未安装，建议安装最新的 NVIDIA 驱动。安装过程有点漫长😮💨😮💨😮💨。如果没有输出，可能你的服务器。
2025-03-03 15:15:27
341
原创 大模型部署方法与工具
大模型部署工具（LLM Deployment Tools）可以帮助你在本地或云端高效部署和管理大语言模型（LLM）。除了之外，还有很多工具提供类似的功能，涵盖本地部署、推理加速、管理、监控等不同方面。
2025-03-03 12:16:58
544
原创 大模型部署方法与工具
大模型部署工具（LLM Deployment Tools）可以帮助你在本地或云端高效部署和管理大语言模型（LLM）。除了之外，还有很多工具提供类似的功能，涵盖本地部署、推理加速、管理、监控等不同方面。
2025-03-03 10:28:16
690
原创 大语言模型训练的目标（不同的结构和阶段）
大语言模型（Large Language Models, LLMs）的训练目标是其能力的核心来源，决定了模型如何从海量数据中学习语言规律和知识。以下是其训练目标的分类和详细说明：预训练是LLMs的基础阶段，通过无监督或自监督任务学习通用语言表示。常见目标包括：在预训练后，模型通过特定任务的数据进一步优化：从单一目标到统一框架从语言建模到多模态学习从静态训练到动态反馈大语言模型的训练目标设计是其能力的核心驱动力：未来趋势将更注重目标统一性（如UL2）、多模态扩展（如GPT-4V），以及低成本对齐方法（如DPO
2025-02-28 11:44:59
852
原创 在linux环境上安装Ollama
参考官网：https://github.com/ollama/ollama/blob/main/docs/linux.md。
2025-02-20 14:46:51
434
原创 deepseek-r1系列模型私有化部署分别需要的最低硬件配置
适用场景：低资源设备部署（如树莓派、旧款笔记本）、实时文本生成（聊天机器人、简单问答）、嵌入式系统或物联网设备。适用场景：本地开发测试（中小型企业）、中等复杂度NLP任务（文本摘要、翻译）、轻量级多轮对话系统。适用场景：企业级复杂任务（合同分析、报告生成）、长文本理解与生成（书籍/论文辅助写作）。适用场景：高精度专业领域任务（医疗/法律咨询）、多模态任务预处理（需结合其他框架）。适用场景：需更高精度的轻量级任务（如代码生成、逻辑推理）。CPU：最低4核（推荐多核处理器）
2025-02-20 00:04:16
955
原创 arm架构和x86架构的异同
ARM：低功耗、高效能、适用于移动和嵌入式设备。x86：强大性能、支持复杂计算，主要用于高性能桌面计算和服务器。这两种架构各有优缺点，应用场景也不一样。你通常会根据需要的性能和功耗来选择。
2025-02-18 16:54:18
629
原创 我国有哪些芯片使用的是arm架构处理器
我国在ARM架构处理器的研发和应用上取得了显著进展，覆盖了从高性能服务器到移动设备的广泛领域。飞腾、鲲鹏和麒麟等处理器在性能和能效上表现出色，推动了国产芯片的自主化和国际化发展。如果需要更详细的信息，可以参考相关来源。
2025-02-18 16:50:39
1035
原创 为什么国产芯片都使用arm架构而不使用x86?
随着技术的进步，ARM架构在性能上的提升使其能够适用于更广泛的应用场景，包括高性能计算。：ARM架构的处理器性能每一代都有显著提升，加之制程技术的进步，使得基于ARM架构的CPU性能得到了飞速发展，已经能够与x86架构在某些领域竞争。综上所述，国产芯片选择ARM架构是基于技术授权的灵活性、低功耗高效能的特点、市场趋势、性能提升、自主可控需求以及全球合作机会等多方面考虑的结果。：对于国产芯片来说，采用ARM架构可以在一定程度上减少对外部技术的依赖，增强自主可控能力，对于国家安全和信息安全具有重要意义。
2025-02-18 16:36:20
464
原创 deepseek-r1不同参数量的模型本地私有化部署，需要的硬件资源最低配置
根据任务需求和硬件条件，用户可以选择适合的模型版本。对于个人用户或开发者，7B 模型是一个平衡性能和资源消耗的选择；而对于专业用户或企业，32B 或 70B 模型则能提供更强的推理能力。
2025-02-17 14:33:02
1141
原创 ollama和transformers在大模型私有化部署上的区别与联系
Ollama 和 Hugging Face 的 Transformers 都是用于大模型私有化部署的工具，但它们在设计目标、使用场景和技术实现上有显著的区别与联系。
2025-02-17 14:11:05
1327
原创 Ollama模型服务调用
Ollama 提供了多种调用服务的方式，包括命令行、REST API 和编程语言集成。通过 REST API，你可以轻松将 Ollama 集成到自己的应用程序中，并通过流式处理、参数调整等功能实现更灵活的使用。
2025-02-17 13:24:47
1060
原创 Ollama本地部署deepseek-r1:1.5b
你还可以基于现有模型进行微调或自定义。Ollama 支持导入自定义模型权重和配置文件。其中，Modelfile是一个包含模型配置的文件。Ollama 是一个强大的工具，适合在本地环境中部署和运行大型语言模型。通过简单的命令行操作，你可以轻松下载、运行和管理多种开源模型，并通过 API 进行集成。无论是研究还是开发，Ollama 都能提供灵活且高效的解决方案。
2025-02-17 13:12:06
597
3
原创 使用 Flask 构建流式返回服务
使用 Flask 构建流式返回服务是一个很常见的应用场景，特别是在需要逐步传输大数据或进行长时间操作的场景下（比如下载大文件、实时日志等）。Flask 中可以通过Response对象来实现流式响应。以下是一个简单的例子，展示了如何在 Flask 中构建一个流式返回的服务。
2025-02-12 10:13:22
903
原创 Flask 中同时返回搜索结果和大模型流式生成的文本
通过流式响应的方式，Flask 可以在同一个连接中逐步返回搜索结果和生成内容。使用yield实现流式输出，同时在生成内容的过程中能够实时返回搜索结果，提升用户体验。这种方法不仅适合流式生成的场景，也能应对高延迟的任务，比如大模型的推理过程。
2025-02-11 10:36:53
661
原创 把node.js代码集成到 chrome插件代码中
Node.js 作为构建工具：你可以使用 Webpack、Parcel 等工具来构建和打包 Chrome 插件的资源。Node.js 作为后端服务：你可以创建一个 Node.js 后端服务，通过 HTTP 与 Chrome 插件进行通信，处理复杂的 API 请求或数据操作。在插件中使用 Node.js 模块：使用 Webpack 等工具，将一些 Node.js 模块打包成浏览器兼容的 JavaScript 代码，在插件中使用。
2024-12-05 14:32:51
562
原创 word office 浮窗工具栏具体实现
使用 VSTO 开发 Office 插件是最常见的方式。你可以创建一个自定义任务窗格或浮动窗口，并根据需要调整其行为。如果需要更高的界面定制度，可以通过嵌入 WPF 窗口实现浮窗效果。这种方法可以通过 COM Interop 与 Word 通信。TopMosttrue这种方法主要用于 Word Online 或跨平台的 Office 使用场景。通过 JavaScript API，可以创建任务窗格，并在其中添加工具栏功能。
2024-12-02 17:10:39
1272
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人