- 博客(5)
- 收藏
- 关注
转载 探秘Transformer系列之(35)--- 大模型量化基础
将现有的量化技术直接应用于大模型存在困难,会出现较大量化误差和精度下降。这主要是因为大模型的特点是规模和复杂性。与较小的模型相比,大模型的权重和激活通常表现出更多的outlier(离群值),并且具有更宽的分布范围。LLM.int()的作者就发现:与较小的模型不同,LLM 表现出独特的权重和激活分布,其特点是存在大量的outlier。因为outlier 的存在,如果我们使用 INT8 量化,大多正常数值将被清零。
2025-06-22 11:06:51
158
转载 Sentinel源码—5.FlowSlot借鉴Guava的限流算法
结合如下的图(令牌的发放时间间隔随着已存储的令牌不同而不同)可知:maxPermits - thresholdPermits就是梯形的高,stableIntervalMicros + coldIntervalMicros就是梯形的两个底的和。在调用SmoothWarmingUp的acquire()方法获取令牌时,最后会调用到SmoothRateLimiter的reserveEarliestAvailable()方法计算当前线程需要阻塞等待的时间,这个阻塞等待的时间由两部分组成。
2025-05-30 16:35:33
59
转载 C# 开源浏览器性能提升,体验Chrome级速度
合集 - .NET 开源工具(20)1..NET 开源快捷的数据库文档查询和生成工具07-312..NET 结果与错误处理利器 FluentResults08-013..NET+WPF 桌面快速启动工具 GeekDesk08-194.Gradio.NET 支持 .NET 8 简化 Web 应用开发08-265..NET 开源实时监控系统 - WatchDog08-276.实用接地气的 .NET 微...
2024-09-28 02:38:39
451
转载 ArgoWorkflow教程(四)---Workflow & 日志归档
合集 - ArgoWorkflow(4)1.ArgoWorkflow教程(二)---快速构建流水线:Workflow & Template 概念08-202.ArgoWorkflow 教程(一)--DevOps 另一选择?云原生 CICD 初体验08-063.ArgoWorkflow教程(三)---使用 Artifacts 实现步骤间文件共享08-294.ArgoWorkflow教程(四)...
2024-09-14 04:10:35
496
转载 Jenkins流水线集成Nexus
1 Nexus基本概念1.1Components-组件1.2 Assets-资产2Nexus仓库管理2.1仓库格式2.2 下载机制2.3 中央仓库2.4 组件坐标2.5release与snapshot3 LDAP认证配置完成以后可以用lisi登录,也可以用原来的admin用户登录4 Pipeline上传制品4.1...
2024-08-13 04:07:41
398
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅