DeepSeek模型观测从黑盒到透明:手把手搭建Grafana可观测性看板(含Prometheus采集全链路)

AI工程实战课:2026版大模型本地部署与生产闭环训练 AI工程已从算法理解迈入生产交付阶段——当百万token上下文、H100/Blackwell硬件、vLLM 0.6+和llama.cpp 0.32成为行业标配,仅懂Transformer原理或调用OpenAI API已远远不够。真正的技术价值在于打通‘可运行、可调试、可交付’的完整闭环:从Docker容器化部署、CUDA 12.4环境适配、TypeScript前端集成,到Prometheus可观测性监控与田间IoT闭环验证。本文聚焦AI工程落地中最易被忽视的‘脏活累活’:依赖冲突解决、显存带宽瓶颈诊断、网络 阅读详情
更多请点击: https://intelliparadigm.com

第一章:DeepSeek模型观测从黑盒到透明:手把手搭建Grafana可观测性看板(含Prometheus采集全链路)

DeepSeek系列大模型在推理服务化过程中,常因缺乏细粒度指标暴露而难以定位延迟突增、显存泄漏或请求堆积等问题。本章将基于开源可观测栈,实现对 DeepSeek-R1 或 DeepSeek-VL 推理服务的端到端监控闭环。

部署 Prometheus Exporter

首先为 DeepSeek 服务注入 prometheus-client Python SDK,在推理 API 入口处注册自定义指标:
# metrics.py
from prometheus_client import Counter, Histogram, Gauge

# 定义关键业务指标
inference_requests_total = Counter('deepseek_inference_requests_total', 'Total number of inference requests')
inference_latency_seconds = Histogram('deepseek_inference_latency_seconds', 'Inference latency in seconds')
gpu_memory_used_gb = Gauge('deepseek_gpu_memory_used_gb', 'Current GPU memory usage in GB', ['device'])

# 在 FastAPI 的 /v1/chat/completions 中调用:
inference_requests_total.inc()
inference_latency_seconds.observe(duration)
gpu_memory_used_gb.labels(device='cuda:0').set(torch.cuda.memory_reserved(0) / 1024**3)

配置 Prometheus 抓取任务

在 prometheus.yml 中添加目标:
scrape_configs:
- job_name: 'deepseek-inference'
  static_configs:
  - targets: ['localhost:8000']  # 假设 metrics endpoint 暴露在 /metrics

Grafana 面板核心指标

以下为推荐监控维度,已在 Grafana 中验证可用:
指标名称用途建议告警阈值
rate(deepseek_inference_requests_total[5m])QPS 趋势< 0.1(空闲告警)或 > 100(过载预警)
deepseek_inference_latency_seconds_p95尾部延迟> 8.0s 触发 P1 告警
deepseek_gpu_memory_used_gb{device="cuda:0"}显存占用率> 95% 触发 OOM 风险提示

一键启动脚本

  • 克隆预置配置仓库:git clone https://github.com/ai-observability/deepseek-grafana-stack
  • 启动全套组件:docker-compose up -d prometheus grafana node-exporter
  • 导入仪表盘 JSON ID 18742(DeepSeek LLM Observability Template)

第二章:DeepSeek服务可观测性体系设计与核心指标建模

2.1 LLM推理服务的关键性能维度解构(TPS/latency/p99/Prompt长度分布)

核心指标定义与业务意义
TPS(Tokens Per Second)反映吞吐能力;latency是端到端响应时间;p99延迟揭示长尾稳定性;Prompt长度分布则决定显存占用与计算负载的非线性增长。
典型Prompt长度分布示例
分位数长度(token)占比
p5012842%
p9051228%
p9920485%
延迟敏感型推理的采样逻辑
# 动态batching中p99感知的timeout配置
timeout_ms = max(500, int(latency_p99 * 1.8))  # 留1.8倍安全裕度
该策略避免因单个长Prompt拖垮整批请求, latency_p99需从实时监控流中滑动窗口计算, timeout_ms直接影响队列积压与资源利用率平衡。

2.2 DeepSeek-R1/VL模型特化指标定义:KV Cache命中率、RoPE偏移异常、MoE专家激活熵值

KV Cache命中率:动态推理效率核心度量
KV Cache命中率反映自回归解码中复用历史键值对的比例,计算公式为:
# hit_rate = hits / (hits + misses)
def compute_kv_hit_rate(cache_stats: dict) -> float:
    return cache_stats["hits"] / max(cache_stats["total"], 1)
cache_stats["hits"] 统计复用已有KV块的token数; "total" 为当前步总查询数。低命中率预示冗余计算与显存带宽压力。
RoPE偏移异常检测
  • 定位位置编码插值越界(如 position_id > max_position_embeddings)
  • 监控旋转矩阵相位偏移量 Δθ > 0.1 rad 触发告警
MoE专家激活熵值
专家ID激活频次归一化概率
E01270.318
E3960.240
E71770.442
熵值 H = −Σ p_i log₂p_i ≈ 1.52,值越低表明负载越倾斜。

2.3 Prometheus指标命名规范与OpenMetrics语义对齐实践

核心命名原则
Prometheus 指标名应遵循 namespace_subsystem_metric_name 结构,全部小写,下划线分隔。例如: http_server_requests_total 中 http 是 namespace, server 是 subsystem, requests_total 是 metric name。
OpenMetrics 兼容性关键点
  • 必须使用 # TYPE 和 # HELP 行声明类型与语义
  • 计数器(counter)后缀必须为 _total,且需标注 # TYPE ... counter
  • 直方图(histogram)须同时暴露 _count、_sum 和 _bucket 系列
# HELP http_request_duration_seconds HTTP request latency in seconds
# TYPE http_request_duration_seconds histogram
http_request_duration_seconds_bucket{le="0.1"} 125
http_request_duration_seconds_sum 12.4
http_request_duration_seconds_count 125
该 OpenMetrics 片段严格满足直方图语义:`_bucket` 提供累积分布,`_sum` 与 `_count` 支持计算平均延迟;`le` 标签表示“小于等于”,是 OpenMetrics 规范强制要求的分位标签键。
常见反模式对照表
问题类型错误示例修正建议
大小写混用HttpRequestLatencySecondshttp_request_latency_seconds
缺失 _total 后缀api_callsapi_calls_total

2.4 基于OpenTelemetry SDK的DeepSeek服务端埋点注入(Python FastAPI + vLLM集成)

初始化OpenTelemetry全局TracerProvider
# 配置OTLP exporter,对接Jaeger或OTLP后端
from opentelemetry import trace
from opentelemetry.sdk.trace import TracerProvider
from opentelemetry.sdk.trace.export import BatchSpanProcessor
from opentelemetry.exporter.otlp.proto.http.trace_exporter import OTLPSpanExporter

provider = TracerProvider()
processor = BatchSpanProcessor(OTLPSpanExporter(endpoint="http://localhost:4318/v1/traces"))
provider.add_span_processor(processor)
trace.set_tracer_provider(provider)
该代码建立全局追踪上下文,`BatchSpanProcessor` 提升导出吞吐量;`OTLPSpanExporter` 指定v1/traces路径兼容OpenTelemetry Collector。
FastAPI中间件自动注入请求追踪
  • 使用TraceMiddleware拦截所有HTTP生命周期
  • 为每个请求生成唯一trace_id与span_id
  • 自动注入llm.request.model、llm.request.max_tokens等语义属性
vLLM推理链路增强标注
Span名称关键属性
vllm.generatellm.response.stop_reason, llm.token.count.prompt
deepseek.decode_stepllm.token.logprobs, system.gpu.utilization

2.5 多租户场景下指标隔离策略:tenant_id标签治理与cardinality控制实战

tenant_id 标签注入规范
所有指标必须显式携带 tenant_id 标签,禁止依赖上下文隐式推导:
// Prometheus client-go 指标注册示例
httpRequestsTotal := prometheus.NewCounterVec(
	prometheus.CounterOpts{
		Name: "http_requests_total",
		Help: "Total HTTP requests.",
	},
	[]string{"tenant_id", "method", "status_code"}, // tenant_id 必须为首标签
)
该设计确保 tenant_id 位于标签序列最左端,提升时序数据库按租户聚合的查询效率;同时规避因标签顺序导致的 cardinality 爆炸风险。
高基数标签截断策略
对非关键维度(如 user_agent、request_id)实施白名单+长度限制:
标签名是否保留最大长度
tenant_id✅ 强制保留无限制
path✅ 白名单路径128
user_agent❌ 默认丢弃—

第三章:Prometheus采集层深度配置与模型推理链路追踪

3.1 vLLM Exporter定制化部署与GPU显存/SM利用率指标抓取

核心指标扩展配置
需在 vllm_exporter 的配置中启用 NVIDIA DCGM 支持,通过环境变量注入 GPU 监控能力:
env:
- name: DCGM_EXPORTER_ENABLE_GPU_UTIL
  value: "true"
- name: DCGM_EXPORTER_ENABLE_MEM_COPY_UTIL
  value: "true"
上述配置激活 DCGM 的 SM 利用率( DCGM_FI_DEV_GPU_UTIL)与显存带宽使用率( DCGM_FI_DEV_MEM_COPY_UTIL)两项关键指标,为推理服务提供硬件级性能可观测性。
指标映射关系表
Exporter 指标名DCGM 原始字段物理含义
vllm_gpu_sm_utilizationDCGM_FI_DEV_GPU_UTILStreaming Multiprocessor 占用率(0–100%)
vllm_gpu_memory_used_bytesDCGM_FI_DEV_FB_USED帧缓冲区已用显存(字节)
部署验证步骤
  1. 确认宿主机已安装 dcgm-exporter v3.3+ 并暴露 :9400/metrics 端点
  2. 将 vLLM Pod 与 DCGM Exporter 通过 Service 或 hostNetwork 共享网络命名空间
  3. 检查 Prometheus 抓取目标中是否出现 vllm_gpu_.* 前缀指标

3.2 分布式Tracing注入:Jaeger+OpenTelemetry Collector实现Prompt→Tokenizer→Inference→Decode全链路染色

链路注入核心配置
# otel-collector-config.yaml
receivers:
  otlp:
    protocols: { grpc: {}, http: {} }
exporters:
  jaeger:
    endpoint: "jaeger:14250"
    tls:
      insecure: true
该配置启用OTLP接收器并直连Jaeger后端, insecure: true适用于本地开发环境;生产环境需替换为mTLS双向认证。
Span生命周期映射
LLM阶段Span名称关键属性
Promptllm.prompt.receivedspan.kind=server, llm.request.id
Tokenizerllm.tokenizationllm.token.count, llm.model.name
Inferencellm.inference.invokellm.latency.ms, llm.is.streaming=true
上下文传播机制
  • 使用W3C Trace Context标准在HTTP Header中透传traceparent
  • gRPC调用通过metadata.MD携带tracestate扩展字段
  • Tokenizer与Inference服务间通过context.WithValue()注入span.Context

3.3 Prometheus联邦与remote_write双模采集架构:应对千节点DeepSeek集群的时序数据吞吐挑战

架构分层设计
边缘Prometheus实例负责单机/单Pod粒度指标抓取,中心联邦节点聚合关键摘要指标,同时所有实例启用 remote_write直连时序存储集群,实现原始数据保全与高可用写入。
联邦配置示例
global:
  scrape_interval: 15s
rule_files:
  - "federate.rules.yml"
scrape_configs:
- job_name: 'federate'
  honor_labels: true
  metrics_path: '/federate'
  params:
    'match[]':
      - '{job=~"deepseek.*"}'
      - 'up == 1'
  static_configs:
    - targets: ['prom-edge-01:9090', 'prom-edge-02:9090']
该配置使联邦节点仅拉取边缘实例中匹配 deepseek.*作业且处于UP状态的指标,避免冗余传输; honor_labels: true保留原始标签,保障多租户隔离。
性能对比
模式吞吐上限延迟(P95)存储冗余
纯联邦~80K samples/s2.1s低
纯 remote_write~350K samples/s0.8s高
双模协同~410K samples/s0.9s可控

第四章:Grafana看板工程化构建与LLM业务语义可视化

4.1 模型健康度驾驶舱:综合评分卡(SLI/SLO达成率+缓存效率+错误归因热力图)

核心指标融合设计
综合评分卡将三类异构信号统一映射至[0, 100]标准化区间:SLI/SLO达成率反映服务契约履约能力,缓存效率(Hit Ratio × TTL Utilization)刻画资源复用质量,错误归因热力图则基于调用链采样与错误码聚类生成二维空间分布。
实时计算流水线
# Flink SQL 实时聚合示例
SELECT 
  model_id,
  AVG(CASE WHEN slis.slo_met THEN 1 ELSE 0 END) AS slo_score,
  AVG(cache.hit_ratio * LOG(2, cache.ttl_sec / cache.age_sec)) AS cache_efficiency,
  ERROR_HEATMAP(error_code, trace_id, 64, 64) AS heat_grid
FROM metrics_stream GROUP BY model_id, TUMBLING(INTERVAL '1' MINUTE);
该SQL以1分钟滚动窗口聚合, ERROR_HEATMAP为UDF,将错误码哈希后映射至64×64网格并统计频次; LOG项抑制老化缓存的虚假高分。
评分权重配置表
指标维度默认权重动态调节依据
SLI/SLO达成率50%业务等级(P0模型提升至65%)
缓存效率30%QPS > 1k时自动+5%
错误热力熵值20%熵>3.8时权重翻倍

4.2 推理延迟分解视图:网络RTT/排队等待/计算耗时/IO阻塞四象限钻取分析

四象限延迟归因模型
将端到端推理延迟解耦为四个正交维度,支撑精准定位瓶颈:
维度典型成因可观测指标
网络RTT跨AZ调用、TLS握手、序列化开销client→server latency, wire_size
排队等待请求队列积压、批处理调度延迟queue_time_ms, batch_wait_p95
计算耗时GPU kernel执行、Attention计算、量化反解compute_ms, kv_cache_gen_time
IO阻塞权重加载、LoRA切换、日志刷盘disk_read_ms, mmap_fault_count
实时采样与标注示例
func recordLatency(ctx context.Context, req *InferenceRequest) {
  span := tracer.StartSpan("inference", opentracing.ChildOf(ctx.SpanContext()))
  defer span.Finish()

  // 标注各阶段起止时间戳
  span.SetTag("rtt_ms", getRTT(ctx))      // 网络往返
  span.SetTag("queue_ms", req.QueueWait) // 排队等待
  span.SetTag("compute_ms", req.Compute) // 计算耗时
  span.SetTag("io_ms", req.IOBlock)      // IO阻塞
}
该代码在OpenTracing上下文中对四大延迟维度进行显式打标,便于后端聚合分析; req.QueueWait等字段由调度器注入,确保归因链路完整可信。

4.3 Prompt质量关联分析:输入token数 vs 输出token数 vs 首token延迟散点矩阵图

三变量联合可视化设计
采用 Seaborn PairGrid 实现三维关系探索,将 `input_tokens`、`output_tokens` 和 `first_token_latency_ms` 两两映射为散点图与边缘分布:
# 生成散点矩阵图
g = sns.PairGrid(df, vars=['input_tokens', 'output_tokens', 'first_token_latency_ms'])
g.map_offdiag(sns.scatterplot, alpha=0.6, size='output_tokens', sizes=(20, 200))
g.map_diag(sns.histplot, kde=True)
该代码构建了非对角线散点图(含尺寸编码输出长度)与对角线直方图+核密度估计,直观揭示长输入是否引发首token延迟陡增。
关键发现归纳
  • 输入 > 2048 token 时,首token延迟中位数跃升至 1200ms+,呈显著非线性增长
  • 输出长度与首token延迟弱相关(ρ ≈ 0.23),说明解码启动瓶颈主要在prefill阶段
性能归因表格
输入区间(token)首token延迟P50(ms)P95增幅(vs 基线)
< 512320+0%
512–2048680+112%
> 20481420+344%

4.4 动态告警看板:基于Prometheus Alertmanager规则的自动降级触发状态流可视化

状态流建模核心字段
字段类型说明
trigger_idstring告警实例唯一标识,由Alertmanager生成
degrade_levelint0=正常,1=限流,2=熔断,3=全量降级
告警规则与降级策略映射
# alert_rules.yml
- alert: HighErrorRate5m
  expr: rate(http_request_total{status=~"5.."}[5m]) / rate(http_request_total[5m]) > 0.05
  labels:
    degrade_policy: "circuit_breaker_v2"
  annotations:
    summary: "API错误率超5%触发熔断"
该规则捕获持续5分钟错误率>5%的HTTP服务,通过 degrade_policy标签关联预置降级执行器; trigger_id由Alertmanager在fire时注入,作为状态流追踪主键。
实时状态同步机制
  • Alertmanager Webhook推送告警事件至降级协调服务
  • 协调服务调用Envoy xDS API动态更新集群路由权重
  • 前端WebSocket订阅/healthz/status端点获取实时degrade_level变更

第五章:总结与展望

云原生可观测性的演进路径
现代微服务架构下,OpenTelemetry 已成为统一采集指标、日志与追踪的事实标准。某金融客户在迁移至 Kubernetes 后,通过部署 otel-collector 并配置 Jaeger exporter,将端到端延迟诊断平均耗时从 47 分钟压缩至 90 秒。
关键实践建议
  • 在 CI/CD 流水线中嵌入 otel-cli validate --trace 验证 span 结构完整性
  • 为 Prometheus 指标添加语义化标签:service.name、deployment.environment
  • 采用 eBPF 技术实现零侵入网络层追踪(如 Cilium 的 Hubble UI 集成)
性能对比基准
方案采样率 100%内存开销(per pod)Trace 查询 P95 延迟
Jaeger Agent + Cassandra不可行186 MB3.2 s
OTLP over gRPC + Tempo + Loki支持42 MB0.41 s
生产环境调试片段
func injectTraceID(ctx context.Context, w http.ResponseWriter) {
  // 从 HTTP header 提取 traceparent
  tp := r.Header.Get("traceparent")
  if tp != "" {
    sc, _ := otel.GetTextMapPropagator().Extract(ctx, propagation.HeaderCarrier(r.Header))
    ctx = trace.ContextWithSpanContext(ctx, sc.SpanContext())
  }
  // 注入 trace_id 到响应头,供前端埋点关联
  w.Header().Set("X-Trace-ID", trace.SpanFromContext(ctx).SpanContext().TraceID().String())
}
未来集成方向
[Service Mesh] → (Envoy OTLP sink) → [OTel Collector] → [Tempo/Loki/Pyroscope] → [Grafana Unified Alerting]
DeepSeek V4与昇腾910B协同实践:混合训练、稳定推理与国产化落地指南 大模型国产化适配是当前AI基础设施建设的核心命题,其本质是算力底座与模型架构的深度耦合。从原理看,异构训练需突破算子兼容性、精度一致性、通信协议统一三大技术关卡;技术价值在于实现供应链安全前提下的性能-成本最优平衡;典型应用场景覆盖政务信创、金融合规推理、行业微调等对自主可控有强约束的领域。DeepSeek V4作为首个在SFT、RLHF Reward建模及离线蒸馏等关键阶段完成昇腾910B全链路验证的大模型,提供了可复用的混合训练范式与工程化调优路径,标志着国产AI芯片已跨越‘能跑’迈向‘稳用、好用、敢用 阅读详情

相关推荐

LLM开发的演化就绪:构建抗衰变的大模型工程系统

大语言模型(LLM)工程已从‘功能实现’迈入‘持续演化’阶段。随着模型迭代周期压缩至6–8周、推理框架API变更率超30%、Embedding向量空间频繁漂移,传统硬编码式开发模式面临系统性失效风险。其核心原理在于:将模型加载、推理引擎、数据处理与监控指标解耦为可替换、可插拔、可追溯、可演进的四大契约接口。这种设计赋予系统‘抗衰变能力’——如通过ModelAdapter抽象层实现Llama-3到Qwen2-7B的零代码切换,借助DVC+OpenTelemetry保障数据与指标的全链路可复现。它不追求技术炫技

819

vLLM+Prometheus+Grafana三剑客:打造Deepseek模型的全链路性能监控体系

本文详细介绍了如何利用vLLM、Prometheus和Grafana构建一套针对Deepseek大模型的端到端性能监控体系。通过vLLM暴露的丰富指标、Prometheus的实时采集与存储,以及Grafana的可视化与告警,实现对模型推理吞吐、延迟、GPU资源及队列状态的深度洞察,从而保障服务稳定性与性能优化。

weixin_29290947的博客 256

Codex多Agent并行协作:从模型能力到生产级系统工程

多Agent系统并非大语言模型的内置功能,而是一种基于基础模型(如OpenAI Codex)构建的分布式智能体架构。其核心原理在于将单次调用的代码生成能力,通过状态机编排、消息总线解耦与上下文隔离三大机制,升维为可扩展、可观测、可运维的协同工作流。该技术的价值在于支撑真实软件工程场景——如自动化代码审计、PR智能修复等任务的端到端闭环,显著提升研发效能与交付质量。典型应用场景包括金融风控代码审查、GitHub CI/CD增强、低代码后端生成等。本文聚焦Codex作为底层算力单元时,如何规避‘agent调用慢

anmishi2025的博客 503

[AI工程] Spring AI 第十三篇:给 AI 应用装上仪表盘

本文详解 Spring AI 2.0 如何为 AI 应用实现可观测性:通过 Micrometer 与 OpenTelemetry,将链路拆解为五个观测点(Token、耗时、调用次数等),解决“成本归因难、性能定位难、质量无抓手”三大痛点。重点揭示 NOOP 陷阱——手动创建 ChatClient 会导致观测失效,强调必须使用自动配置注入的 Builder。结合 Prometheus + Grafana 实现 Token 成本监控与链路追踪,并提供内容日志开关与告警配置,确保数据可见且隐私可控。

OxYGC 880

大模型在金融风控的落地实践:从模型选型、高效微调到工程化部署

大语言模型(LLM)凭借其强大的上下文理解和表示学习能力,正在重塑传统技术栈。其核心原理在于通过海量数据预训练,获得通用的语义理解和模式识别能力,而无需依赖复杂的人工特征工程。这一技术价值在于能够统一处理结构化与非结构化数据,实现从“特征工程”到“表示学习”的范式转变,尤其擅长捕捉跨模态的隐性关联。在金融风控、智能客服、知识管理等应用场景中,大模型能够深入分析文本、序列等复杂数据,进行精准的风险识别与决策。本文将聚焦于金融风险预警这一高要求领域,探讨如何通过LoRA等参数高效微调技术,将通用大模型定制为领域

weixin_34409357的博客 412

企业数字化转型AI大模型赋能智能体平台及AI场景应用规划方案(生态合作版).pptx

企业数字化转型AI大模型赋能智能体平台及AI场景应用规划方案(生态合作版).pptx

DeepSeek V3生产级部署:vLLM+FastAPI+监控全链路实践

大语言模型推理服务从Demo走向生产,核心在于稳定性、可观测性与容错能力。vLLM凭借PagedAttention机制显著提升显存利用率与并发承载力,成为DeepSeek V3等长上下文模型的首选推理引擎;结合FastAPI构建业务逻辑中枢,可实现动态上下文切换、流式响应与自动兜底;再通过Nginx反向代理提供连接复用、限流熔断与故障隔离能力。该技术栈已在智能客服SaaS场景中验证72小时高可用,支持32K上下文稳定推理,并具备GPU显存实时监控、请求级延迟追踪、降级日志埋点等关键运维能力,为金融、医疗等强

agtvo48266的专栏 466

MCGS的Http协议驱动,支持http协议

硬件配置 参数设置 设备属性 设备命令 通讯状态 附录 #HTTP 1、 设备简介 驱动类型 该驱动为独立设备,直接添加构件即可,不需要挂载到父设备下 通讯协议 采用标准HTTP1.1协议 通讯方式 驱动构件为客户端。 2、 硬件连接 本软件在通讯之前,请保证通讯连接正确。通讯连接方式:采用标准的RJ45接口的以太网接线(对调网线或使用HUB交换)。 3、 设备通讯参数 本设备为独立设备,无父设备参数 4、 设备构件参数设置 “HTTP设备”参数设置如下: <1> 内部属性: 构建url信息。 <2> 最小采集周期:本软件对设备进行操作的时间周期,单位为ms,默认为100ms。 <3> 通讯等待时间:通讯数据接收等待时间,默认设置为200ms,当采集速度要求较高或数据量较大时,设置值可适当减小或增大。 <4> HttpHead:http head添加需要的字段,不需要添加http head时值为空,默认不添加。 5、 设备命令 本设备构件提供设备命令,用于进行相应的操作,设备命令的格式如下: 设备命令 命令介绍 GetHttpHead 格式1 GetHttpHead(headStr) 用途 获取http head参数 参数 headStr 参数可以为字符型变量、字符串常量 例1 !SetDevice(设备0,6,"GetHttpHead(headStr)") 获取http head数据保存到headStr中 SetHttpHead 格式1 SetHttpHead(headStr) 用途 设置http head参数 参数 headStr 参数可以为字符型变量、字符串常量

hindsight:面向LLM生产环境的轻量级可观测性中间件

大语言模型(LLM)服务可观测性是当前MLOps与SRE工程实践中的核心挑战。传统APM工具无法解析prompt语义、token消耗和API错误上下文,导致401/400类故障难以归因。hindsight作为正向代理型中间件,通过零侵入拦截HTTP流量,实现对OpenAI/DeepSeek等API调用的结构化采集——涵盖原始prompt、真实token用量、错误详情及调用上下文。其技术价值在于将黑盒式LLM请求还原为可追溯、可度量、可审计的语义数据流,支撑成本分析、安全治理与性能优化。典型应用场景包括API

weixin_32238157的博客 286

ITIL-IT运维管理-概述

ITIL-IT运维管理-概述 概述 IT服务管理(ITSM)是一套帮助企业对IT系统的规划、研发、实施和运营进行有效管理的方法,是一套方法论。ITSM起源于ITIL(IT Infrastructure Library,IT基础架构标准库),ITIL是CCTA(英国国家电脑局)于1980年开发的一套IT服务管理标准库。它把英国在IT管理方面的方法归纳起来,变成规范,为企业的IT部门提供一套从计划、研发、实施到运维的标准方法。 中文名 IT服务管理 外文名 ITService Management 专家

syjhct的博客 4万+

Wireshark 4.6 TCP 流图解析:3种拥塞控制算法可视化对比

本文深入解析Wireshark 4.6的TCP流图功能,通过可视化对比Reno、Cubic和BBR三种主流拥塞控制算法的性能特征。文章提供详细的实验环境搭建方法、流图分析工具使用技巧,以及算法调优建议,帮助网络工程师优化TCP性能。

weixin_29291573的博客 452

AI API网关实战复盘:统一接入大模型与成本治理的得与失

API网关作为微服务架构的流量统一入口,在AI应用场景中正演变为连接大模型与业务系统的关键治理层。它通过将不同模型提供商的接口协议、鉴权方式与限流策略抽象为标准化路由,实现模型接入的统一收敛与调用链路的可观测性。在实际工程中,依托APISIX等网关组件,可以完成多租户Key管理、动态切流、语义缓存与配额控制,从而显著降低大模型调用的成本失控风险。同时,网关的监控指标能精准定位性能瓶颈与异常流量。但网关并非万能,模型能力边界与业务复杂度仍需应用层解决。本文从实践视角,盘点了自建AI API网关的收益、选型路径

weixin_33895695的博客 384

【YOLO 系列】基于YOLO V8的智能车载交通标志识别系统【python源码+Pyqt5界面+数据集+训练代码】

本文详细介绍了基于YOLO V8构建智能车载交通标志识别系统的完整流程。从环境搭建、数据集准备、模型训练到PyQt5图形界面开发,提供了Python源码和实战代码,帮助开发者快速实现高精度、实时的交通标志检测应用,提升驾驶辅助系统的开发效率。

wdx012345的博客 968

从概念到落地:构建代码智能体可视化监控系统的全链路实践

数据可视化是将复杂信息转化为直观图形的关键技术,其核心原理在于通过视觉编码降低认知负荷,提升信息传递效率。在软件工程领域,可视化技术是实现系统可观测性的基石,能够将海量日志和指标转化为可操作的洞察。对于日益普及的代码智能体(AI编程助手),构建专属的可视化系统具有重要技术价值:它不仅能监控AI辅助编程的采纳率与响应延迟等核心指标,更能通过分析代码上下文与建议的相关性,揭示AI的“思考”过程,提升模型透明度。这种系统通常应用于评估AI对开发效率与代码质量的实际影响,以及优化智能体行为等场景。本文以“Visua

weixin_33275503的博客 283

SAP采购订单中项目类别B(限制)的控制逻辑

在笔者所在企业中,框架类采购订单中项目类别需要选择B(限制)。今天笔者从比较全面的角度分析了一下这个项目类别B到底可以决定些什么?控制到什么?先从后台SPRO中打开相应的配置菜单。 打开项目类别B之后,可以看到一些配置信息,这里有一点与其它配置不同的地方,即无法新增项目,也无法修改现有项目。这个疑惑今后再去解决吧。当前只研究项目类别B的控制逻辑。 下面就参考上图中的配置分段来分析和测试其控制逻辑, 1、如项目类别配置图,所需材料值为不允许;经测试,如下图在采购订单创建时,不能输入物料编号条目。

专注SAP应用技术文章写作,致力于拉近用户与系统间的距离; 6035

HAL库硬件SPI驱动ST7735 TFT屏幕:从零实现高效刷屏与图形绘制

本文详细介绍了如何使用STM32的HAL库硬件SPI驱动ST7735 TFT屏幕,从硬件连接到SPI配置优化,再到图形绘制与文本显示的实现。重点分享了DMA传输、局部刷新等高级优化技巧,显著提升刷屏效率,帮助开发者快速掌握屏幕驱动技术并应用于实际项目。

pink的博客 741

AI网关实战:多模型统一管理与生产环境落地指南

随着大模型API的日益增多,如何高效管理并集成多个模型成为开发者面临的核心挑战。AI网关作为所有模型请求的统一入口,通过标准化路由、安全治理与成本控制,有效解决了多供应商接入引发的接口混乱、密钥管理难及费用不透明等问题。它屏蔽了底层模型差异,提供统一的鉴权与可观测性能力,使团队能灵活切换或降级模型,保障服务高可用。从轻量级原型验证到高并发生产部署,AI网关承载着流量调度、熔断限流和计量计费等关键职责,是连接上层应用与异构模型资源的枢纽。本文基于作者真实的架构演进经验,详细拆解了AI网关在模型路由、多级熔断及

weixin_33859231的博客 306

基于YOLOv13+CBAM注意力机制

本教程详细介绍了CBAM注意力机制的原理及其在YOLOv13中的集成方法。CBAM通过通道注意力和空间注意力两个模块,动态调整特征权重以增强模型性能。通道模块利用池化操作和共享MLP生成通道权重,空间模块则通过池化和卷积生成空间权重。教程提供了在YOLOv13中实现CBAM的具体步骤,包括模块代码定义、模型配置修改等关键环节,帮助开发者在目标检测任务中提升模型表现。

FJN110的博客 306

DeepSeek Harness:AI模型服务化与云原生工程落地实践

AI模型服务化是将训练好的大模型转化为稳定、可观测、可运维的生产级服务的关键环节。其核心在于解决资源调度、服务编排、标准化接口与全链路可观测性等工程挑战。DeepSeek Harness 作为面向AI工程化的开源脚手架,提供基于声明式Pipeline的服务编排能力、GPU显存感知的资源隔离机制、OpenTelemetry原生集成的指标埋点,以及Kubernetes原生部署支持。它不替代模型研发,而是填补从Jupyter实验到K8s集群交付之间的关键鸿沟,让LLM服务具备数据库级别的可靠性与扩展性。本文聚焦H

weixin_31236101的博客 293

Arch Linux 命令大全,值得收藏!

Arch Linux 是一款轻量级、高度可定制的 Linux 发行版,以其简洁和强大的特性深受高级用户喜爱。但对于新手来说,完全掌握 Arch Linux 的操作需要时间和实践。本文将为您详细介绍常用的 Arch Linux 命令,涵盖系统管理、文件操作、用户管理、软件安装与管理、网络配置和磁盘管理等内容,帮助您更高效地使用 Arch Linux。

网络技术联盟站 975

极智嘉嵌入式面试题及参考答案

IIC(Inter-Integrated Circuit)即集成电路总线,是一种由 PHILIPS 公司开发的两线式串行总线,用于连接微控制器及其外围设备。它仅使用两根线,即串行数据线 SDA 和串行时钟线 SCL,就能实现多个设备之间的通信,具有简单、高效、占用资源少等优点,广泛应用于各种嵌入式系统中。

大模型大数据攻城狮的专栏 922

构建企业级AI Agent:从核心能力到工程落地的全栈指南

AI Agent作为智能体技术,其核心原理在于通过大型语言模型(LLM)理解任务意图,并结合规划、工具调用与记忆等能力,将复杂流程自动化。这项技术的核心价值在于将不确定的业务流程转化为确定、可管理的自动化服务,从而在客户服务、数据分析和内部审批等企业场景中释放生产力。要实现从‘玩具’到‘生产力’的跨越,关键在于满足企业级应用对稳定性与安全性的严苛要求。本文聚焦于如何构建真正可落地的企业级Agent,深入探讨了其必须具备的可靠性、智能性、连接性与可管理性四大核心能力矩阵,并提供了涵盖架构设计、技术栈选型、安全

weixin_30696427的博客 372

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

大模型系统开发能力体系

本文系统梳理了大模型开发的核心知识体系,分为底层认知层和模型演进层。底层认知层涵盖机器学习基础概念(张量、梯度、链式法则、概率分布)和LLM关键参数(Token、上下文窗口、温度等控制参数)。模型演进层分析主流架构发展:CNN通过局部感受野处理图像,RNN/LSTM用于序列建模但存在并行性差等问题,Transformer凭借自注意力机制实现全局依赖建模成为当前主流。全文提供了参数组合策略等技术细节,为开发者构建了从理论基础到实践应用的能力框架。

weixin_45130169的博客 1286

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

OpenClaw四种部署模式与安全加固实战指南

OpenClaw是一个面向大模型工作流编排的轻量级运行时框架,核心解决多源AI能力(如Dify、Claude Code)与业务系统(飞书/钉钉/数据库)的声明式集成问题。其本质是基于Node.js构建、深度依赖容器化交付的技能调度平台,部署稳定性直接取决于Node.js运行时环境管理与技能执行边界的隔离能力。技术选型需兼顾工程成熟度与合规要求:裸机部署适合深度调试但环境风险高;Docker单容器保障一致性却存在进程级安全缺陷;Docker Compose实现服务解耦与故障域隔离,是中大型生产环境首选;Rai

weixin_30832405的博客 386

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。,新界面,新视觉,

LLM模型路由技术:动态调度与自演进决策中枢

大语言模型(LLM)服务调度正从静态规则走向实时动态决策。传统基于路径或关键词的路由方式难以应对任务复杂度、模型能力边界与成本敏感性的多维权衡。LLM模型路由技术通过感知任务特征、监控服务状态、融合业务策略,构建可解释的混合决策机制,在毫秒级完成推理任务到异构模型集群的最优分发。其核心价值在于实现‘单位成本下的任务完成率’最大化,支撑Agent系统在精度、延迟与预算间的工程平衡。典型应用场景包括智能客服、法律/医疗垂直Agent、多模态工作流编排等。本文聚焦openJiuwen X-Router所代表的动态

weixin_32238157的博客 302

并行分布式框架:Celery、rq、funboost

Celery是一个异步任务的调度工具,也可以叫做 "分布式任务队列(Distributed Task Queue)"。

freeking101的博客 5万+
上一篇: 导师没教但审稿人默认掌握的技能:Perplexity精准锚定IEEE Trans文献的6维过滤法
下一篇: AI Agent桌面级操控技术深度拆解(Windows/macOS/Linux跨平台适配全图谱)
quickcode
博客等级 码龄19年 146粉丝 1996原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值