llm的可观测性

可观测性(Observability)

在校学习的时候,可观测性(控制理论),指系统从统输出信号反推系统内部状态的能力,目的是为了提升系统稳定系统。

后来,做项目,编写软件,继承这一理念的有日志、指标、追踪等设计,所图的都是系统稳定运行,和性能优化。

llm领域,业内做测试,一般使用请求量、错误率、响应时长做评估

早期如deepseek-R1测评表,DeepSeek-R1第三方稳定性测试(App端):首批结果出炉!

随着对llm特性的了解,和AI应用普及的要求,可观测性逐渐向着完整的解决方案发展,阿里云:详解大模型应用可观测全链路

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值