- 博客(5)
- 收藏
- 关注
RSS订阅原创 APISIX API配置HTTPS访问的踩坑实录
为了实现APISIX的生产级部署，需要在多个方面进行安全加固，其中HTTP改造为HTTPS是一个基本要求。在实施HTTPS改造过程中，本人遇到了一系列问题，并将这些问题的解决过程记录下来整理成文档。值得注意的是，即使在GPT的加持下，这些问题的解决之路依然坎坷，这似乎也意味着：由于技术与产品的不断迭代，系统集成工程师在短时间内被AI取代依然是一种奢望。
2025-04-18 20:26:50
874
原创 GPUStack统一纳管NPU算力资源实践
摘要：本文介绍了基于GPUStack的NPU算力资源统一纳管实践，重点解决了跨VLAN环境下的组网挑战。通过Docker部署服务端和Worker端，利用SSH隧道（LPF+RPF组合）实现安全通信，确保服务端与Worker的健康检查及数据交互。文章详细阐述了网络隧道配置技巧，并针对Worker状态异常问题，提出时间同步（chronyd服务）的解决方案。该方案在保证安全性的同时，实现了异构计算资源的灵活调度，适用于多安全域场景。
2025-04-01 14:52:50
579
原创 ragflow之初体验
文本嵌入（Text Embedding）是将文本数据转化为固定维度向量表示的过程，这些向量可以捕捉文本的语义信息，使相似的文本在向量空间中距离较近，从而便于进行相似度计算、分类和聚类任务。【注意】docker运行环境、docker-compose的二进制版本从此处下载：https://download.docker.com/linux/static/stable/x86_64/、https://github.com/docker/compose/releases?
2024-10-11 17:16:37
6340
原创 KVM虚机GPU直通实践总结
【注意】目录/usr/lib/dracut/modules.d/下的每一个子目录都代表一个 dracut模块，每个模块至少包含一个module-setup.sh脚本（用于模块的安装和配置设定），20这个数字设置的原则是要小于被覆盖的驱动程序模块nvidia。采用如上GPU直通方式A，vfio-pci模块的绑定配置匹配的是供应商与设备ID，这会导致绑定主机上所有同一型号的GPU，不符合我们期望的部分GPU给宿主机的容器使用，部分GPU做直通给虚机使用的情形，为此需要考虑绑定设备PCI地址的方式。
2024-03-08 10:31:10
9423
1
原创 容器搭建vivo蓝心大模型
为了省略容器内安装CUDA驱动的环节，可以直接使用nvidia/cuda的官方容器镜像，这里使用cuda-11.7.1版本，原因是该模型依赖该版本，而其他版本如cuda-12.1则不被支持，需要注意的是：GPU服务器上安装的CUDA版本为12.1，GPU服务器上运行的的docker容器内部署的CUDA版本为11.7，在容器内执行nvidia-smi依然显示为宿主机的CUDA版本12.1，而不是11.7，但该现象并不影响后续的安装，此外镜像需下载devel开发版，后续编译过程则无需安装其他编译工具。
2024-01-31 17:08:04
1760
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人