- 博客(6)
- 收藏
- 关注
RSS订阅转载 探秘Transformer系列之（35）--- 大模型量化基础
将现有的量化技术直接应用于大模型存在困难，会出现较大量化误差和精度下降。这主要是因为大模型的特点是规模和复杂性。与较小的模型相比，大模型的权重和激活通常表现出更多的outlier（离群值），并且具有更宽的分布范围。LLM.int()的作者就发现：与较小的模型不同，LLM 表现出独特的权重和激活分布，其特点是存在大量的outlier。因为outlier 的存在，如果我们使用 INT8 量化，大多正常数值将被清零。
2025-06-20 10:03:45
61
转载 高效缓存的10条军规
"苏工！首页崩了！凌晨三点接到电话时，我正梦见自己成了缓存之神。缓存命中率： 0 % 数据库QPS： 10 万+线程阻塞数： 2000 +直连数据库，未加缓存。不会用缓存的程序员，就像不会刹车的赛车手。今天这篇文章跟大家一起聊聊使用缓存的10条军规，希望对你会有所帮助。问题类型推荐方案工具推荐缓存穿透空值缓存+布隆过滤器缓存雪崩随机TTL+熔断降级缓存击穿互斥锁+热点预加载数据一致性延迟双删+最终一致性最后忠告：缓存是把双刃剑，用得好是性能利器，用不好就是定时炸弹。
2025-06-18 13:33:01
39
转载 树状数组（Fenwick Tree）原理和优化全面解析
当数据量较小时，我们可能会这样实现：vector<intprices(n)// 单点更新 - O(1)// 区间查询 - O(n)intaccumulatebeginbegin10，这样的操作会导致严重的性能瓶颈。尤其当系统要求每秒处理数万次操作时，传统的数组结构显然力不从心。聪明的开发者可能会想到前缀和优化：vector<intprefix(n +1// 构建前缀和 - O(n)forint1-1-1// 区间查询 - O(1)int1但新的问题随之而来——当某个。
2025-05-08 08:33:54
54
转载 腾讯云锐驰型轻量服务器搭建开源远程桌面软件RustDesk中继服务器小记
RustDesk是一个基于Rust编写的全平台开源远程桌面软件，其最大的特点为开箱即用，且数据完全自主掌控，甚至可以依托此项目定制化开发自己专属的远程桌面软件。 一、前言 由于我个人经常性出差，对远程桌面软件有强需求，而微软自带的RDP并不能完全满足我的需求，且国内的向日葵/ToDesk/TeamViewer的定价与吃相属实太过美丽，所以目光转向了开源的方案，最终敲定为RustDesk的原因...
2025-03-12 02:54:48
503
转载 【高中数学/对数函数】比大小：log_3_PI VS PI/3
【问题】求3为底PI为真数的对数与三分之PI孰大孰小？【解答】[解法一：列表法]log_3_PIPI/3使用换底公式lnPI/ln3PI/3因为ln3>0,两边同乘以3ln3得3lnPIPI*ln3系数变指数得lnPI^3ln3^PI因为ln是增函数，去掉ln号得PI^33^PI现在就转变成了x的y次方和y的x次...
2024-07-24 03:27:59
338
转载 Java中的设计模式：深入浅出工厂模式
Java中的设计模式：深入浅出工厂模式 大家好，我是微赚淘客系统3.0的小编，是个冬天不穿秋裤，天冷也要风度的程序猿！在Java编程中，设计模式是提高代码可读性和可维护性的关键。今天我们来深入浅出地聊一聊工厂模式。 1. 工厂模式简介 工厂模式（Factory Pattern）是一种创建型设计模式，它定义了一个创建对象的接...
2024-07-20 02:06:07
84
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人