自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(5)
  • 收藏
  • 关注

转载 探秘Transformer系列之(35)--- 大模型量化基础

将现有的量化技术直接应用于大模型存在困难,会出现较大量化误差和精度下降。这主要是因为大模型的特点是规模和复杂性。与较小的模型相比,大模型的权重和激活通常表现出更多的outlier(离群值),并且具有更宽的分布范围。LLM.int()的作者就发现:与较小的模型不同,LLM 表现出独特的权重和激活分布,其特点是存在大量的outlier。因为outlier 的存在,如果我们使用 INT8 量化,大多正常数值将被清零。

2025-06-22 11:06:51 158

转载 Sentinel源码—5.FlowSlot借鉴Guava的限流算法

结合如下的图(令牌的发放时间间隔随着已存储的令牌不同而不同)可知:maxPermits - thresholdPermits就是梯形的高,stableIntervalMicros + coldIntervalMicros就是梯形的两个底的和。在调用SmoothWarmingUp的acquire()方法获取令牌时,最后会调用到SmoothRateLimiter的reserveEarliestAvailable()方法计算当前线程需要阻塞等待的时间,这个阻塞等待的时间由两部分组成。

2025-05-30 16:35:33 59

转载 C# 开源浏览器性能提升,体验Chrome级速度

合集 - .NET 开源工具(20)1..NET 开源快捷的数据库文档查询和生成工具07-312..NET 结果与错误处理利器 FluentResults08-013..NET+WPF 桌面快速启动工具 GeekDesk08-194.Gradio.NET 支持 .NET 8 简化 Web 应用开发08-265..NET 开源实时监控系统 - WatchDog08-276.实用接地气的 .NET 微...

2024-09-28 02:38:39 451

转载 ArgoWorkflow教程(四)---Workflow & 日志归档

合集 - ArgoWorkflow(4)1.ArgoWorkflow教程(二)---快速构建流水线:Workflow & Template 概念08-202.ArgoWorkflow 教程(一)--DevOps 另一选择?云原生 CICD 初体验08-063.ArgoWorkflow教程(三)---使用 Artifacts 实现步骤间文件共享08-294.ArgoWorkflow教程(四)...

2024-09-14 04:10:35 496

转载 Jenkins流水线集成Nexus

1 Nexus基本概念1.1Components-组件1.2 Assets-资产2Nexus仓库管理2.1仓库格式2.2 下载机制2.3 中央仓库2.4 组件坐标2.5release与snapshot3 LDAP认证配置完成以后可以用lisi登录,也可以用原来的admin用户登录4 Pipeline上传制品4.1...

2024-08-13 04:07:41 398

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除