- 博客(4)
- 收藏
- 关注
RSS订阅原创 关于4-BIT量化
大模型量化技术通过降低参数精度来减少存储空间，如将FP32/FP16转为4-bit表示。其核心原理是分组量化：每组参数使用自定义"刻度尺"（scale）和零点，将浮点权重映射为整数编号存储。计算时再还原为bf16/FP16参与运算。NF4采用非均匀刻度，在权重密集的0附近设置更密刻度。双重量化进一步压缩scale参数。这种技术让权重以4-bit存储，仅在计算时临时还原，实现显存节省和计算效率的平衡，但需注意离群值处理和分组粒度等权衡因素。
2025-08-19 01:58:59
1223
原创 Qlib上手学习记录（3）--数据准备
Qlib提供了现成的.bin格式的数据集，用户可以使用脚本scripts/get_data.py下载China-Stock数据集，如下所示。数据用scripts/dump_bin.py转换为.bin文件（格式）的脚本，只要它们的格式正确即可。Qlib除了下载准备好的演示数据外，用户还可以直接从 Collector 下载演示数据，参考 CSV 格式。Qlib美股模式初始化 假设用户在该目录中准备了Qlib格式的数据~/.qlib/qlib_data/us_data。用户只需Qlib按如下方式初始化即可。
2024-05-02 00:30:49
2859
1
原创 Qlib上手学习记录（2）--数据
这里的provider_uri就是你存放数据的地址（后续会谈到有哪些数据）后续就会直接讲工作流程及数据框架和怎么简单上手操作。就是把你准备好的数据初始化一下。这里的时间就是对应的开盘日期。后续会更详细说说过滤器。
2024-04-26 01:53:43
871
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人