- 博客(20)
- 收藏
- 关注
RSS订阅原创 TIME - MoE 模型代码 5——Time-MoE-main/time_moe/utils/log_util.py
在分布式训练中，确保只有主进程输出日志，避免多卡环境下日志重复（如 DDP 的 8 卡训练中，仅。这段代码实现了一个自定义的日志配置模块，主要用于分布式训练环境下的日志管理，确保只有主进程（缓存已创建的日志记录器，避免重复创建，提高性能。）输出日志，避免多进程环境下的日志冗余。创建一个输出到标准输出（），并绑定上述格式器。
2025-05-11 16:01:27
382
原创 TIME - MoE 模型代码 4——Time-MoE-main/run_eval.py
支持分布式环境下的高效评估提供了 MSE 和 MAE 等常用评估指标能够处理不同格式的时间序列数据自动适应不同的预测长度和上下文长度优化了模型加载和推理过程，支持混合精度计算这个评估脚本可以帮助研究人员和工程师准确衡量 Time-MoE 模型在各种时间序列预测任务上的性能表现。
2025-05-11 15:00:15
989
原创 TIME - MoE 模型代码 3.4——Time-MoE-main/time_moe/models/modeling_time_moe.py
TIME-MoE 通过稀疏专家混合、高效注意力机制和多分辨率预测设计，在保持高性能的同时显著降低计算成本。代码实现中，旋转位置编码、FlashAttention 优化和专家负载平衡损失是提升长序列预测能力的关键。该架构适用于大规模时间序列预训练，为通用预测任务提供了可扩展的解决方案。
2025-05-10 18:36:12
2123
原创 TIME - MoE 模型代码 3.3——Time-MoE-main/time_moe/datasets/time_moe_window_dataset.py
这段代码实现了两个用于时间序列数据处理的窗口化数据集类，主要用于将长序列切割成固定长度的子序列，为模型训练提供合适的输入格式。（pack technique），将多个短序列合并成一个固定长度的窗口，提高数据利用率和训练效率。两者共同构成了一个完整的时间序列数据预处理工具链，为后续模型训练提供了标准化的输入格式。将长时间序列转换为固定长度的。）：标记哪些位置需要计算损失。
2025-05-10 10:56:00
691
原创 TIME - MoE 模型代码 3.2——Time-MoE-main/time_moe/datasets/time_moe_dataset.py
提供了统一的数据接口，确保数据预处理的标准化和高效性。这段代码定义了一个用于时间序列数据处理的。类，支持多种数据格式和归一化方法。该类为后续模型训练（如。
2025-05-09 21:55:53
911
原创 TIME - MoE 模型代码 3.1——Time-MoE-main/time_moe/trainer/hf_trainer.py
源码：GitHub - Time-MoE/Time-MoE: [ICLR 2025 Spotlight] Official implementation of "Time-MoE: Billion-Scale Time Series Foundation Models with Mixture of Experts"这段代码实现了 TIME-MoE 模型的自定义训练器和训练参数配置，主要基于 Hugging Face 的 Transformers 库进行扩展。 继承自 ，用于定制 TIME-MoE 模型的训
2025-05-09 13:54:05
955
原创 TIME - MoE 模型代码 2——runner.py
这段代码通过类实现了 TIME - MoE 模型的加载、训练配置及训练过程的管理，辅助函数确保了实验的可复现性和参数的易读性。
2025-05-09 09:34:10
1281
原创 TIME - MoE 模型代码 1——main.py
此脚本借助argparse库解析命令行参数，为训练 TIME - MoE 模型配置各种参数，随后创建对象并调用其方法开展模型训练。通过命令行参数，用户能够灵活调整训练过程中的诸多超参数。
2025-05-09 08:34:16
678
原创 数据集处理：时间序列数据处理与JSON转换
series：一维时间序列数据（numpy数组或列表）：窗口长度（单位：时间步）padding：是否对不足窗口长度的数据进行零填充。
2025-05-07 10:56:12
530
原创 In-Context Probing Approximates Influence Function for Data Valuation 代码 4 —— 使用 Stanford Alpaca 仓库
IGNORE_INDEX = -100 # 用于忽略计算损失的位置（如输入部分）DEFAULT_PAD_TOKEN = "[PAD]" # 填充TokenDEFAULT_EOS_TOKEN = "</s>" # 结束TokenDEFAULT_BOS_TOKEN = "<s>" # 开始TokenDEFAULT_UNK_TOKEN = "<unk>" # 未知Token处理分词器中缺失的特殊 Token，确保模型输入输出格式统一。
2025-05-07 09:56:49
784
原创 In-Context Fine-Tuning for Time-Series Foundation Models 论文阅读
该研究的核心思想是：在推理阶段，利用多个相关时间序列的示例作为上下文，来增强目标时间序列的预测能力。具体而言，研究人员设计了一个预训练的基础模型，该模型能够在推理时接受多个时间序列示例作为提示，以预测目标时间序列的未来值。论文与代码+9X-MOL+9paperreading.club+9论文与代码+9paperreading.club+9X-MOL+9。
2025-04-22 11:12:53
1219
1
原创 ICL 代码 4 —— utils/analyze.py
（上下文预测分数）和（影响力分数），并提供一些功能，如分数可视化、Spearman相关性分析、按排名分类分数、以及ICP和影响分数在不同分数区间内的重叠分析。
2025-04-16 20:20:30
887
原创 ICL 代码 3 —— utils/icp_scores.py
{"0": [0.7], "1": [0.6]} # 键为上下文样本标识，值为ICP分数列表。：获取模型输出后，使用 Python 脚本计算 ICP 分数：。：JSON 字典，键为上下文示例ID，值为对应的 ICP 分数。，确保在多上下文或多次预测场景中，每个样本仅被处理一次。：键为上下文样本标识（字符串），值为对应似然分数数组。存储和关联样本的似然分数（基线和上下文场景）。的预测似然差异，评估上下文学习的效果。：每行一个 JSON 对象，包含。）的一个字段，通常是一个整数（如。
2025-04-16 09:37:02
1175
原创 ICL 代码 2 —— icp/run_eval.py
cli_evaluate()函数的主要任务是根据用户提供的参数进行模型评估。它加载任务、配置模型、执行评估并输出评估结果。该函数支持多种参数配置，包括是否启用 wandb、是否缓存结果、如何处理任务等。
2025-04-09 20:17:31
2073
原创 ICL 代码 1 —— scripts/run_icp.sh
整体作用是：在 kmeans100 任务上评估 Pythia-1B 模型的表现，使用指定的提示策略（来自 kmeans100.txt 文件），将模型输出的概率结果保存到 outputs 目录下的 model_probs.json 文件中。，其核心作用是为模型提供多样化的任务示例，帮助评估模型在多种任务类型上的表现能力。表示使用测试集评估模型性能，确保评估结果反映模型的泛化能力。，记录模型在各任务上的概率分布，用于后续 ICP 分数计算。（可选）：任务的具体输入内容（如句子、数字、文本片段）
2025-04-07 23:32:53
1038
原创 基于 Learn Git Branching 网站可视化学习 git
Git 仓库中的提交记录保存的是你的目录下所有文件的快照（类似复制粘贴，但比复制粘贴更好）。提交要尽可能轻量，条件允许的情况下，它会将当前版本与仓库中的上一个版本进行对比，并把所有的差异打包到一起作为一个提交记录。Git 还保存了提交的历史记录。提交两次代码，输入两次：git commit。
2025-03-28 15:08:33
920
原创 In-Context Probing Approximates Influence Function for Data Valuation 上下文内探测近似数据估值的影响函数
数据估值量化了训练数据的价值，并用于数据归因（即确定训练数据对模型预测的贡献）和数据选择；在本文中，我们展示了通过上下文探测（即提示 LLM）的数据估值近似于选择训练数据的影响函数。我们的实证结果表明，上下文探测和基于梯度的影响框架在对训练数据进行排名方面是相似的。此外，对任何一种方法选择的数据进行微调实验都揭示了相似的模型性能1（1Code/data 可以在https://github.com/cxcscmu/InContextDataValuation 中找到）。
2025-03-28 09:20:18
307
原创 2. 猜数字游戏
程序会随机生成一个 1 到 100 之间的整数。接着它会提示玩家猜一个数并输入，然后指出猜测是大了还是小了。如果猜对了，它会打印祝贺信息并退出。
2025-03-21 09:14:09
847
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人