- 博客(143)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 11 | 海光 BW 异构加速卡 vLLM 推理引擎部署与性能评测
海光 BW 异构加速卡 vLLM 推理引擎部署与性能评测报告，基于国家超算互联网 SCNet 平台（2 × 海光 BW，DTK 26.04，vLLM 0.11.0
2026-10-25 23:25:49
210
原创 10 | vLLM 定位与核心机制详解
PagedAttention 主要是将 KV Cache 切分为固定大小的 Block 再按需分配，用非连续存储替代整块预留，消除碎片与过度占用，让同等显存可支撑更多并发请求。
2026-10-17 06:01:37
646
原创 09 | LangGraph 构建个人知识库对比 Qwen14B & GLM 效果
用 LangGraph 搭建 RAG 知识库，以多版本简历为数据集，对比本地 Qwen 14B 与云端 GLM 的问答效果。两者检索层相同，GLM 引用更完整、结构更清晰，Qwen 胜在本地无网络依赖。
2026-10-16 03:20:54
362
原创 08 | 本地 RAG 模型对比Qwen 与 DeepSeek-R1-Distill（7B / 14B)
在 MacBook Pro M4 环境下，模型从 7B 扩大到 14B，Qwen 和 DeepSeek 的平均生成耗时分别增加 2.54 倍和 2.18 倍。同等参数规模下，Qwen 的端到端响应速度约为 DeepSeek 的 4 倍，主要原因之一是 DeepSeek 输出更长。综合性能表现，Qwen 7B 更适合低延迟场景，Qwen 14B 则需要付出更高的推理成本；后续应针对小模型优化检索开销，针对大模型优化生成延迟与输出长度。
2026-10-14 11:45:09
338
原创 07 | FastAPI + llama.cpp 接入 Langfuse监控Prompt请求
FastAPI + llama.cpp 服务接入 Langfuse Cloud,记录每次请求的 Trace 与 Token 用量,并用并发压测的 Prometheus 对账结果核对追踪是否完整。
2026-10-13 11:40:30
268
原创 06 | Prometheus打通FastAPI云原生数据采集
Prometheus获取FastAPI云原生数据采集，FastAPI 在 Mac 的 Docker 里,Prometheus 在 Kubernetes 里。用手动 Endpoints 加 ServiceMonitor 打通采集,并验证成功。
2026-10-13 00:11:43
452
原创 05 | Jenkins 搭建 CD 流水线（部署到 Kubernetes、Trivy 漏洞扫描与推理冒烟测试）
用 Jenkins 为 llm-serving 搭建 CD 流水线:按 IMAGE_TAG 通过 Helm 部署 FastAPI 与 llama.cpp,等待 rollout 就绪后,并行执行 Harbor Trivy 扫描和五项冒烟测试。第 #3 次构建 0 Critical,测试全部通过,约 50 秒 SUCCESS。
2026-10-12 13:36:23
579
原创 04 | 用 Jenkins 打通 CI自动构建镜像并推送到本地 Harbor
在 Jenkins 里配置 Harbor 凭据,用 Pipeline script from SCM 从 GitHub 拉取代码,自动构建 llm-serving 和 llm-serving-llama 两个镜像,以构建号和 latest 双标签推送到本地 Harbor,并用 digest 一致来验收。
2026-10-12 01:40:12
346
原创 03 | 更新：Ollama 换成 llama.cpp构建更小的离线镜像
用 llama.cpp 官方 server 镜像加上 Qwen_0.5b_Q4_K_M 量化的 GGUF 模型,打包出离线镜像 llm-serving-llama:0.1.0,取代体积庞大的 Ollama 镜像,同时保持模型名和 OpenAI 兼容接口不变。
2026-10-11 17:28:25
209
原创 03 | 离线部署 FastAPI + Ollama(qwen2:0.5b):从 Docker 联调到 Kubernetes 验收
把一个本地 LLM 推理服务拆成两个独立组件FastAPI 服务和Ollama 服务,并最终跑在 Kubernetes 上
2026-10-10 11:54:21
392
原创 02 | Kubernetes 部署 FastAPI LLM Serving 并接入 Ollama
本文基于Kubernetes部署FastAPI LLM服务，通过Helm安装并配置Service与Ingress，实现外部访问。FastAPI容器通过host.docker.internal调用MacBook本地Ollama服务，使用Qwen3:8b模型。测试验证了Pod内健康检查、环境变量、Ollama连接及网络链路畅通，完整打通从客户端到LLM推理的调用路径。
2026-10-09 01:25:12
173
原创 01|LLM Serving：FastAPI + Ollama 的 LLM 推理服务与性能测试
基于MacBook Pro M4+24G，验证了LLM服务端完整链路：通过Ollama加载Qwen、Llama等模型，FastAPI实现OpenAI兼容API，支持流式推理与健康检查。测试显示5次请求成功率100%，平均延迟17.32秒，性能稳定。后续计划集成Prometheus、Grafana与OpenTelemetry，监控TTFT、P95、Tokens/s等关键指标，提升可观测性。
2026-10-08 18:30:23
242
原创 【记录】MAC本地微调大模型（MLX + Qwen2.5）并利用Ollama接入项目实战
参考和感谢：https://juejin.cn/post/7499137821425549363(qwen05b) (base) igwanglyang@MacbookProdahouzicn Qwen2.5-Sex % source venv/bin/activate(venv) (base) igwanglyang@MacbookProdahouzicn Qwen2.5-Sex % pip3 install huggingface_hub mlx-lm transformers torch numpy
2025-10-16 21:18:17
992
原创 AWS EC2设置用户名密码登录
通过用户名和密码登录到AWS EC2实例。请确保在生产环境中使用安全的密码，并考虑使用密钥对认证以提高安全性。
2024-11-26 16:38:26
1879
1
原创 USM选课（20230912）
#Course CodeCourse Name课程SemesterTypeUnitMethodDate/Time1CCS528 ConfirmedINFORMATION SECURITY AND CRYPTOGRAPHY信息安全和密码学231ELECTIVE (E)4WEB12/09/2023 18:53 PM2CCS591 ConfirmedRESEARCH AND EMPIRICAL METHODS IN COMPUTER
2023-09-22 14:20:50
466
原创 [异常处理]mysql8 SELinux is preventing from name_bind
my.cnf 配置lower_case_table_names=1导致无法启动。SELinux安全机制禁止了mysql的其他端口绑定，导致无法通信。
2023-07-18 10:33:45
1567
原创 TCP三次握手·解释
双方在确认对方的对话包中，会使用确认码。比如我说SEQ（15），我爸回复ASK（15+1），加一个1对方就知道了。具体机制请参考包头，每个字节位置都有对应含义。三次握手的原因是双方确认相互通信正常的过程，确认双方的**“听”“说”**能力。比如我微信打语音给我爸，我要确认他能不能听到我的话，才能继续说，要不都白说了。缘由：最近面试被恶心到了，老是问三次握手。对方连具体的握手未必理解，就瞎几把问。三次通话确认，第一次我叫他一声“爸”，第二次“嗯，我听到”，第三次我说“好”。
2023-05-11 03:28:56
354
原创 CVE-2019-0708 攻防演练
1、环境准备：靶机系统：en_windows_7_ultimate_with_sp1_x64_dvd_618240.iso攻击载荷：Kali Linux VMware 64-Bit (7z)2021.12、配置准备靶机与攻击机网络互通（攻击机172.29.128.5，靶机172.29.128.6）──(kali㉿kali)-[~/Desktop]└─$ ping 172.29.128.6 PING 172.29.128.4 (172.29.128.6) 56(84) bytes of
2021-05-02 15:23:11
911
1
原创 oracle pdb自启动ALTER pluggable DATABASE ALL save state
oracle12.1只能使用触发器oracle12.2可用ALTER pluggable DATABASE ALL save state;高版本建议优先使用第二种模式触发器模式CREATE TRIGGER open_all_pdbs AFTER STARTUP ON DATABASEBEGIN EXECUTE IMMEDIATE 'alter pluggable database all open';END open_all_pdbs;/状态保存模式#12.2以.
2021-04-11 15:33:20
3950
原创 oracle 图形化安装
1. 在Redhat7.6图形化终端使用以下方式root用户执行xhost +，切换到ORACLE_HOME目录以oracle用户执行./runInstaller/u01/app/oracle/product/19.3.0/db_1[root@ora0410 ~]# xhost +access control disabled, clients can connect from any host[root@ora0410 ~]# su - oracleLast login: Sat Apr
2021-04-11 00:27:50
1855
原创 atom-beautify sqlparse中文乱码|Could not find ‘sqlFormat‘ Beautify 0.28.7
1、atom-beautify sqlparse中文乱码atom-beautify底层调用Python3，故需设置默认编码为UTF-8参数：PYTHONIOENCODING值：UTF-82、sqlparse安装https://github.com/andialbrecht/sqlparse解决方法：使用文件搜索工具查找sqlformat.exe路径，添加到环境变量中，以下路径供参考：C:\Users\***\AppData\Local\Packages\PythonSoftwar
2021-03-27 13:02:27
651
原创 MySQL面试一
1、一张表里面有ID自增主键，当insert了17条记录之后，删除了第15,16,17条记录，再把mysql重启，再insert一条记录，这条记录的ID是18还是15 ？2、mysql的技术特点是什么？3、Heap表是什么？4、mysql服务器默认端口是什么？5、与Oracle相比，mysql有什么优势？6、如何区分FLOAT和DOUBLE？7、区分CHAR_LENGTH和LENGTH？8、请简洁描述mysql中InnoDB支持的四种事务隔离级别名称，以及逐级之间的区别？9、在mysql中E
2021-03-07 16:29:40
148
原创 NMI(非屏蔽中断) DELL iDRAC
NMI全名Non Maskable Interrupt，在DSP等学习中解释为“不可屏蔽中断”。戴尔 iDRAC重启选择出现NMI(非屏蔽中断)，不知其用途故作此笔记。说人话：NMI(非屏蔽中断)通常要提前设置在crash dump目录，当发生硬件故障时，使用该重启方法会将crash dump文件保存下来以供硬件厂商分析故障原因。Crash dump具有崩溃转储、故障转储、系统崩溃后的内存倾倒等意思。一、什么是NMI(非屏蔽中断)来源：https://wiki.osdev.org/Non.
2021-02-24 22:02:15
6791
原创 Oracle 多线程 Parallel优化
基于并行查询要启动并行进程、分配任务与系统资源、合并结果集，都是比较消耗硬件资源的，优化时通常在逻辑上没有明显进步空间才使用硬件优化方式，故启用Parallel前应该考虑：1、当前数据库设备有充足硬件资源，2、查询表的数据量很大,超过一千万，可通过改变Parallel明显提高效率，3、系统的当前负载较低，执行任务时不影响其它业务的使用，1、开启parallel功能的语句alter session enable parallel dml;语法：/*+parallel(table_short.
2021-02-24 17:40:26
1777
原创 关于grid安装的一些错误
1、This application requires X displayERROR: Unable to verify the graphical display setup. This application requires X display. Make sure that xdpyinfo exist under PATH variable.解决方式：oracle安装图形显示依赖X display，需安装xorg-x11-utils包，按以下方式安装后验证。[root@grid1-dah
2021-02-23 04:09:32
3303
原创 ELK单机部署-基于centos8
一、安装前环境配置1、卸载centos8自带jdk1.8yum -y remove java-1.8.0*2、安装openjdk11sudo dnf install java-11-openjdk-devel3、提示：请使用root用户安装二、安装Elasticsearch（在线安装）https://www.elastic.co/guide/en/elasticsearch/reference/7.10/rpm.html#rpm-repo1、使用rpm命令导入源的 GPG：sudo r
2021-01-01 22:53:43
1355
2
原创 migrate python反向生成数据库模型工具
PS D:\CODE\career> python manage.py migrateSystem check identified some issues:WARNINGS:?: (mysql.W002) MySQL Strict Mode is not set for database connection 'default' HINT: MySQL's Strict Mode fixes many data integrity problems in MySQL, such
2020-09-09 00:41:12
458
原创 Python入门 页面和传参
逻辑：在career\career\settings.py配置模板路径，系统自动去该路径查找HTML模板（项目名career）定义页面函数使用render渲染关联到index模板，传入context参数在模板html代码插入context，两个大括号引用{{ context }}1. 配置模板路径按需修改，以下代码有省略， ‘DIRS’: [os.path.join(BASE_DIR, ‘mbti/view’)],//添加模板路径import os//添加os包，否则会报错from.
2020-09-08 01:29:40
623
原创 Python入门 创建Django项目和应用
安装Python官网：https://www.python.org/downloads/windows/Download Windows x86-64 executable installer安装pip和Django自行安装，直接执行pip install djangoPS D:\CODE\career> pip install djangoRequirement already satisfied: django in c:\users\liguangliang\appdata\lo
2020-09-05 14:30:10
365
原创 bat脚本生产案例解析
@echo off::关闭显示set FileName="D:\运维平台\运维log\log%date:~0,4%%date:~5,2%%date:~8,2%.txt"cls::清除屏幕】setlocal enabledelayedexpansionSet BaseCfgFile=cfg\config.ini::设置参数if not exist %BaseCfgFile% ( echo 请先配置！ goto END)for /F "tokens=1,2" %%C in (
2020-06-15 00:44:52
434
原创 cmd命令笔记
ASSOC显示或修改文件扩展名关联。ATTRIB显示或更改文件属性。BREAK设置或清除扩展式CTRL+C检查。BCDEDIT设置启动数据库中的属性以控制启动加载。CACLS显示或修改文件的访问控制列表(ACL)。CALL从另一个批处理程序调用这一个。CD显示当前目录的名称或将其更改。CHCP显示或设置活动代码页数。CHDIR显示当前目录的名称或将其更改。CHKDSK检查磁盘并显示状态报告。CHKNTFS显示或修改启
2020-06-14 17:31:56
480
原创 CTP搭建笔记
这里写目录标题规划主机资源更改主机名配置SSH免密访问(RSA加密原理)安装和优化数据库添加oracle用户配置ORACLE_BASE和ORACLE_HOME为以下路径优化数据库导入数据库文件规划主机资源2台linux主机10.38.112.83 ctp-trade 部署交易主机 （trade）10.38.112.84 ctp-db 部署分控、结算相关组件，还有柜台相关组件更改主机名配置SSH免密访问(RSA加密原理)1、生成公钥和私钥ssh-keygen -t rsa2、将私钥复
2020-06-11 18:51:32
1052
原创 ORA查询无效编译项
--查询无效编译项select owner, object_type, status, count(*) from dba_objectswhere status='INVALID'group by owner, object_type, status order by owner, object_type;解决方式如下：
2020-06-08 20:40:01
215
原创 linux/centos 分区调整 root与home
linux/centos 分区调整 root与home--了解分区--1. 查看当前分区情况 `df -h`2. 分区调整后的结果--移除home空间--3.卸载home分区4. 检查磁盘块`e2fsck -f /dev/mapper/VolGroup-lv_home`5. 调整home分区空间至150G`resize2fs -p /dev/mapper/VolGroup-lv_home 150G`5. 从逻辑块中移除非挂载空间`lvreduce -L 250G /dev/mapper/VolGroup-l
2020-06-01 15:59:32
2783
1
jflow-core-1.1.0-SNAPSHOT.jar
2019-02-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人