- 博客(4)
- 收藏
- 关注
RSS订阅转载 探秘Transformer系列之（35）--- 大模型量化基础
将现有的量化技术直接应用于大模型存在困难，会出现较大量化误差和精度下降。这主要是因为大模型的特点是规模和复杂性。与较小的模型相比，大模型的权重和激活通常表现出更多的outlier（离群值），并且具有更宽的分布范围。LLM.int()的作者就发现：与较小的模型不同，LLM 表现出独特的权重和激活分布，其特点是存在大量的outlier。因为outlier 的存在，如果我们使用 INT8 量化，大多正常数值将被清零。
2025-07-08 13:59:28
74
转载 毛玻璃实现交友软件心动嘉宾模糊效果
用于监测DOM树的变化,它提供了一种异步的方式来监听DOM元素的增加、删除、属性变化、文本节点等变化。通过MutationObserver,我们可以实时地知道到DOM的变化，并做出相应的操作。首先我们要选择一个观察的元素对象。然后通过 new MutationObserver 创建观察者对象，观察发生变化后触发回调函数。配置观察选项,这个非常重要，我们等会要详细去了解最后通过 observer.observe传入需要观察的元素和配置选项// 第一步:选择目标节点// 回调函数。
2025-05-03 02:44:39
45
转载 mysql查询性别为1显示为男
MySQL查询性别为1显示为男：一个简单的SQL示例在数据库管理中，我们经常需要根据某些条件来查询数据。例如，在一个用户信息表中，我们可能需要找出所有性别为1的用户，并且将这些用户的性别显示为“男”。本文将通过一个简单的MySQL查询示例，来展示如何实现这一需求。环境准备首先，我们需要一个MySQL数据库环境，以及一...
2024-07-28 03:25:53
872
原创 拖拽神器React DnD你真的了解了吗？
简介最近在研究用 React 绘制拓扑图的时候涉及到了 HTML5 拖放 API，了解到了 React DnD 这个拖放神器。React DnD 帮我们封装了一系列的拖放 API，大大简化了拖放 API 的使用方式，今天就结合下面这个示例给大家介绍下 React DnD 的用法。重要概念React Dnd 提供了几个重要的 API 供我们使用：DragSourceDropTa...
2024-02-01 16:03:13
1863
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人