torch.quantile or np.quantile的计算

最新推荐文章于 2024-07-30 09:27:17 发布

原创最新推荐文章于 2024-07-30 09:27:17 发布 · 5.5k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#深度学习 #pytorch #python

本文介绍如何使用PyTorch计算张量的分位数，包括当分位数位置为非整数时的插值计算方法。通过具体示例展示了不同情况下的计算过程。

部署运行你感兴趣的模型镜像

torch的文档详细说明了quantile的计算方法。

主要是将q的范围[0, 1] 转成输入index的范围[0, n]。也就是说，将q 乘 n。然后插值计算。

quantile位置不是整数

a = torch.tensor([0.0, 1.1, 2.1, 3.1])
q_result = torch.quantile(a, torch.tensor([0.1, 0.9]))
# tensor([0.3300, 2.8000])

a的index范围： [0, 3]
两个q值0.1, 0.9 都乘以3之后得到0.3， 2.7。

0.3在0和1之间，需要插值。缺省插值方法为a + (b-a) * fraction。

0.0+ （1.1 - 0.0）*0.3 = 0.3300

2.7在2和3之间

2.1 + (3.1 - 2.1 ) * 0.7 = 2.8000

quantile位置为整数

不需要插值。
例如

a = torch.tensor([0.1, 0.2, 0.3, 0.33, 0.9])
q2 = torch.quantile(a, torch.tensor([0.5]))
# 0.3

0.5 * 4 = 2，因此取a[2]

您可能感兴趣的与本文相关的镜像

PyTorch 2.8

PyTorch

Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

gnudebian

关注关注

4
点赞
踩
7

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

【PyTorch量化实践（1）】

2d3d图像算法 halcon\opencv\c++\pcl\vtk\coluldcompare工具程序员学习者

07-10

836

翻译来源https://pytorch.org/blog/quantization-in-practice/量化是一种廉价而简单的方法，可以使深度神经网络模型运行得更快，并具有更低的内存需求。PyTorch提供了几种量化模型的不同方法。在这篇博客文章中，我们将(快速)为深度学习中的量化奠定基础，然后看看每种技术在实践中是怎样的。最后，我们将以文献中关于在工作流程中使用量化的建议作为结束。量化本质是信息压缩，在深度网络中，它指的是降低其权重和/或激活的数值精度。过度参数化的深度神经网络（DNN）有更多的自由度

使用PyTorch计算中位数/中值

飞机火车巴雷特的博客

05-27

6435

在Pytorch中计算一组数据的中位数

1 条评论您还未登录，请先登录后发表或查看评论

tqc_pytorch:截断分位数批判方法用于连续强化学习的实现。 https

05-10

用连续分布分位数批评者的截断混合物控制高估偏差该存储库实现了连续强化学习方法TQC，在PyTorch上的论文进行了描述。 Tensorflow的官方实现可以在找到。源代码基于，我们感谢作者的努力。要求安装MuJoCo 从MuJoCo网站并安装MuJoCo 1.50。我们假设将MuJoCo文件提取到默认位置（ ~/.mujoco/mjpro150 ）。 Gym和MuJoCo 2.0具有集成错误，Gym无法针对人形生物和蚂蚁环境正确处理接触力。请使用MuJoCo 1.5。将您的MuJoCo许可证密钥（mjkey.txt）复制到〜/ .mujoco / mjkey.txt：创建anaconda环境从提供的environment.yaml文件创建anaconda环境： cd ${SOURCE_PATH} conda env create -f environment.y

【torch.quantile】分位数计算

胡侃有料的博客

07-30

3316

torch.quantile 分位数计算方法。

np.quantile()详解

weixin_46227276的博客

02-26

3041

axis=0，先按列进行升序排列。

pytorch 多分类问题，计算百分比

luolinll1212的专栏

11-09

3278

二分类或分类问题，网络输出为二维矩阵：批次x几分类，最大的为当前分类，标签为one-hot型的二维矩阵：批次x几分类计算百分比有numpy和pytorch两种实现方案实现，都是根据索引计算百分比，以下为具体二分类实现过程。 pytorch out = torch.Tensor([[0,3], [2,3], [...

np.quantile

weixin_44012667的博客

07-04

1161

是计算数组中指定分位数值的函数。可以计算单个或多个分位数。可以沿指定轴计算分位数，并且可以使用不同的插值方法。返回值是指定分位数的值或值的数组，类型与输入数组相同。

torch.quantile

07-27

- *3* [torch.quantile or np.quantile的计算](https://blog.csdn.net/gnudebian/article/details/127202035)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt...

torch.float32，score是这个类型呀

最新发布

08-13

如果你确认 `score` 已经是 `torch.float32` 类型，但仍然遇到 `RuntimeError: quantile() input tensor must be either float or double` 错误，可能有以下几种情况需要排查： --- ### **1. 隐藏的类型转换陷阱**...

下面的代码是干什么用的，请生成说明注释，同时还有什么改进： import numpy as np import random import math import os import matplotlib.pyplot as plt import matplotlib.cm as cm import pandas as pd import glob import torch import torch.nn as nn import torch.nn.functional as F import torchvision # %matplotlib inline from tqdm.notebook import tqdm from math import sqrt from sklearn.metrics import mean_absolute_error from sklearn.metrics import mean_squared_error def setup_seed(seed): np.random.seed(seed) # Numpy module. random.seed(seed) # Python random module. os.environ['PYTHONHASHSEED'] = str(seed) # 为了禁止hash随机化，使得实验可复现。 torch.manual_seed(seed) # 为CPU设置随机种子 if torch.cuda.is_available(): torch.cuda.manual_seed(seed) # 为当前GPU设置随机种子 torch.cuda.manual_seed_all(seed) # if you are using multi-GPU，为所有GPU设置随机种子 torch.backends.cudnn.benchmark = False torch.backends.cudnn.deterministic = True def drop_outlier(array,count,bins): index = [] range_ = np.arange(1,cou

04-13

import numpy as np # 数值计算，支持大型多维数组和矩阵运算 import random # 生成伪随机数 import math # 数学运算函数 import os # 操作系统接口 import matplotlib.pyplot as plt # 数据可视化（符合引用[1][2]...

如何计算quantile

01-15

介绍了SAS计算quartile的几种方法

帮我看下这个框架对不对，让后如果要用lstm和xgboot混合模型来预测可以嘛？可以话怎么弄，另外加入jvquant的l2数据获取--- 1️⃣ 先把数据源跑通（最优先）任务目的现成资源 ✅ 申请 MiniQMT 实盘权限拿到真实行情 + 交易接口找券商（国金、华鑫、中泰等）开通 QMT 实盘，勾选“量化接口” ✅ 用 xtquant 取到任意 1 只股票 1 天 1 分钟线验证数据链路 `pip install xtquant` → 跑官方 demo：`from xtquant import xtdata; xtdata.download_history_data('000001.SZ', period='1m', start_time='20250724')` ✅ 用 akshare 补股东户数弥补 MiniQMT 没有基本面 `pip install akshare` → `ak.stock_zh_a_gdhs(symbol="300539")` --- 2️⃣ 把“特征函数”写完整（第二步）你现在缺的 3 个核心函数，我都给你补成可运行的雏形，先跑通再优化： ```python # file: zhuang_features.py from xtquant import xtdata import akshare as ak import pandas as pd import numpy as np def get_chip_density(code, end_date, n=90): """筹码集中度：90%成本区间 / 中位价""" bars = xtdata.get_market_data([code], end_time=end_date, count=n, period='1d')[code] closes = bars['close'].dropna() if len(closes) < n*0.8: return np.nan p90 = closes.quantile(0.95) # 90%分位 p10 = closes.quantile(0.05) p50 = closes.median() return (p90 - p10) / p50 def get_holder_change(code): """最近一期股东户数环比变化率""" try: df = ak.stock_zh_a_gdhs(symbol=code.replace('.SZ', '').replace('.SH', '')) # 取最近两期 latest = df.iloc[0]['股东户数'] prev = df.iloc[1]['股东户数'] return (latest - prev) / prev except: return np.nan def get_breakout(code, end_date): """最近是否缩量突破 20 日新高""" bars = xtdata.get_market_data([code], end_time=end_date, count=20, period='1d')[code] vol = bars['volume'] price = bars['close'] vol_ratio = vol.iloc[-1] / vol.mean() is_high = price.iloc[-1] == price.max() return 1 if (vol_ratio < 0.8 and is_high) else 0 ``` --- 3️⃣ 把“训练样本”做出来（第三步）任务具体动作 ✅ 标注庄股用 Excel 把历史上 20 只公认庄股（如 300539、002995、603123 等）在启动日打标签 1，其余随机 200 只正常股打 0 ✅ 批量跑特征用上面 3 个函数，把每只股票在启动日前 1 天的特征都跑成 CSV，格式：`code,chip_density,holder_change,breakout,label` ✅ 存到 `dataset.csv` 后面 PyTorch 直接 `pd.read_csv('dataset.csv')` --- 4️⃣ 把“模型”写成可训练脚本（第四步） ```python # file: train_model.py import torch, pandas as pd from sklearn.model_selection import train_test_split df = pd.read_csv('dataset.csv').dropna() X = torch.tensor(df[['chip_density','holder_change','breakout']].values, dtype=torch.float32) y = torch.tensor(df['label'].values, dtype=torch.float32).unsqueeze(1) X_train, X_val, y_train, y_val = train_test_split(X, y, test_size=0.2) class ZhuangNet(torch.nn.Module): def __init__(self): super().__init__() self.net = torch.nn.Sequential( torch.nn.Linear(3, 16), torch.nn.ReLU(), torch.nn.Linear(16, 1), torch.nn.Sigmoid() ) def forward(self, x): return self.net(x) model = ZhuangNet() opt = torch.optim.Adam(model.parameters(), 1e-3) criterion = torch.nn.BCELoss() for epoch in range(200): opt.zero_grad() loss = criterion(model(X_train), y_train) loss.backward() opt.step() if epoch % 20 == 0: with torch.no_grad(): val_loss = criterion(model(X_val), y_val) print(epoch, loss.item(), val_loss.item()) torch.save(model.state_dict(), 'zhuang_net.pt') ``` --- 5️⃣ 把“实时扫描”写成脚本（第五步） ```python # file: realtime_scan.py import torch, datetime, json, requests from zhuang_features import get_chip_density, get_holder_change, get_breakout model = ZhuangNet() model.load_state_dict(torch.load('zhuang_net.pt')) model.eval() codes = xtdata.get_stock_list_in_sector('沪深A股') today = datetime.datetime.today().strftime('%Y%m%d') found = [] for code in codes: try: f1 = get_chip_density(code, today) f2 = get_holder_change(code) f3 = get_breakout(code, today) if any(pd.isna([f1,f2,f3])): continue prob = model(torch.tensor([[f1,f2,f3]])).item() if prob > 0.8: found.append((code, round(prob,3))) except Exception as e: print(code, e) # 推送到企业微信机器人 webhook = 'https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=你的key' data = {"msgtype":"text","text":{"content": f"发现庄股候选：{found}"}} requests.post(webhook, json=data) ``` --- 6️⃣ 把“实盘执行”加一道保险（第六步） - ✅ 先用模拟盘跑 2 周，确认信号无未来函数（比如把 `end_date` 设成昨日，再对比今天的实际走势）。 - ✅ 用 `schedule` 或 `crontab` 每天 14:50 自动跑一次，盘中不干扰。 - ✅ 加熔断：单只股票当日成交额 < 5000 万直接跳过，避免流动性陷阱。 --- 7️⃣ 把“日志 & 回测”补齐（最后一步） - ✅ 把每日扫描结果写进 `sqlite` 或 `csv`，方便后续回测胜率。 - ✅ 用 `backtrader` 对 2023-2024 全市场跑一遍，看信号后 5 日收益分布，确定最终阈值（可能 0.7 比 0.8 更好）。 --- 🚩一句话总结你现在缺的只是“把骨架连上血肉的七步流程”。按上面 1→7 的顺序逐条完成：申请接口 → 补特征 → 造样本 → 训练 → 实时扫描 → 模拟盘 → 回测，最终就能在 MiniQMT 上全自动跑起来。

07-27

- 资金流：计算大单净流入等。 - 对齐时间戳：将L2数据与日线数据对齐（例如，聚合为分钟线或日线特征）。 c. **特征存储**：将提取的特征存储到数据库中，便于模型训练和实时预测使用。 d. **实时预测**：在...

numpy.quantile

zffustb的博客

04-11

2236

对于numpy.quantile的具体的理解，大家可以看这篇博文。本文主要是讲的是numpy.quantile()的第二个参数q。 q是一个array_like of float类型的值，对于其中的每一个值，都计算一下分位数，举例如下：

【PyTorch】PyTorch之Reduction Ops

weixin_44984705的博客

01-19

1824

介绍pytorch降维操作。

分位数(quantile)

liuxiangke0210的专栏

08-30

1万+

原文链接：https://www.cnblogs.com/gispathfinder/p/5770091.html 四分位数（Quartile），即统计学中，把所有数值由小到大排列并分成四等份，处于三个分割点位置的得分就是四分位数。第一四分位数 (Q1)，又称“较小四分位数”，等于该样本中所有数值由小到大排列后第25%的数字。第二四分位数 (Q2)，又称“中位数”，等于该样本中所有...

【pytorch】时间序列预测 —— 同时预测多个分位点

颹蕭蕭

06-01

5994

单变量的分位点损失多变量的分位点损失结果可视化模型 import torch import torch.nn as nn import torch.nn.functional as F class Model(nn.Module): def __init__(self, n_val, window, hidRNN, quantiles = [0.5]): super(Model, self).__init__() self.use_cuda = True

pytorch模型量化

大鱼的博客

10-14

4255

模型量化是为了减少模型的大小，以便在边缘设备上进行计算首先建网络: import torch import torch.nn as nn from torchsummary import summary device = torch.device("cpu") class SimpleNet(nn.Module): def __init__(self, num_classes=10): super(SimpleNet, self).__init__() sel

pandas的quantile函数