Kuang Da's Blog

SearXNG 是一个整合了超过70个搜索服务结果的免费的私有互联网搜索引擎，用户不会被网站跟踪或被建立档案进行特征分析，良好地保障了用户的隐私。知识库可以有效地弥补大模型的知识欠缺问题，但依旧无法补充或弥补知识库和大模型知识陈旧的问题，于是让大模型联网成为了非常重要的功能。本章将介绍如何使用 Docker Compose 部署属于私人的 SearXNG 服务，。

LobeChat 的社区版本默认使用客户端数据库的方式，缺少多端同步功能，不支持知识库等功能。数据库版本（Database，DB）则支持这些功能，本篇教程适用于 DB 版本的的 LobeChat 部署。在开始教程之前，默认以下前提条件都以具备：一台具有固定公网 IP 的服务器；服务器已经安装Docker1Panel以及OpenResty；使用 NPS 作为内网穿透服务（影响不大，代理的原理都是一样的）；可以进行二级域名解析的合法域名；

笔者近期重整服务器，计划重新安装操作系统并配置新的开发环境。笔者基于此配置和系统环境做出本篇文档的安装指南。安装完整的CUDAcuDNNTensorRT需要准备至少 30GB 的磁盘空间。安装开始前请确保安装了gcc和make。之后笔者采用并安装下面所示的显卡驱动。安装完显卡驱动之后，重启系统。

GPUStack 是一个开源的 GPU 集群管理器，专为运行 AI 模型而设计。它以其广泛的硬件兼容性而闻名，支持多种品牌的 GPU，并能在 Apple MacBook、Windows PC 和 Linux 服务器上运行。GPUStack支持各种AI模型，包括大型语言模型（LLMs）、扩散模型、音频模型、嵌入模型和重新排序模型。该平台易于扩展，支持单节点多 GPU 和多节点推理及服务，并提供多种推理后端，如llama-box、``vox-box和vLLM`。

【代码】在Ubuntu安装NVIDIA容器支持工具。

最近总想着置办一张计算卡用于 Homelab 的 `LLM` 应用，但是市面上的计算卡/显卡种类太多了，有的时候不晓得要看哪一张显卡，故从`TechPowerUp` 网站摘录下表，以供参考。

前段时间搞了个 Dell R730，但是奈何风扇转速在 ipmitool 调整到 5% 转速之后，其共振的噪音依旧忍受不了，无奈之下，开启风扇改装计划。改装完的完全体如下图所示：Dell R730风扇静音术之风扇改装计划！！！

前段时间升级了一下机柜里的服务器，替换掉了一台旧的 Dell 服务器，换上了这台 R730。但是无奈于噪音的袭扰，搁置了一段时间。我在这台机器上目前安装了一块 Intel Xeon E5-2630v3 芯片以及一张改过散热的 NVIDIA Tesla P4 计算卡。结果就是散热风扇全速开启。因此不得不在另外一台 7x24 开机的机器上部署一个脚本用于每隔三十分钟自动设定一次风扇转速。

新建一个Python文件就可以使用了，我不是太喜欢弯弯绕绕的程序获取方法，主程序文件和测试程序都在下面，拿走直接用就行。如果喜欢的话，在时间允许的情况下欢迎去我的。

为了解决这个问题，需要加入一个 `Queue` 将子线程里面的 `frame` 画面提取到主线程里，然后再在主线程里面显示。大体的程序框架见下面的程序所示。

书接上回，上一章中，群晖已经能定期给 Windows 物理机服务器做备份了，但是依然无法从外网访问服务器上的内容，本篇讲述如何在 Ubuntu 中安装 NPS 客户端，也就是所谓的 NPC ( Client )。

书接上回，在 ESXi 中安装了群晖系统，这个系统主要是用来给 Windows 物理机做备份的，因此在本片主要讲解如何配置 Active Backup for Business 软件。

在 ESXi 中安装群晖系统并实现 SATA 控制器直通

在妖板N5105和i226网卡的机器上安装ESXi 7.0