qq_40206371的博客

先直观看一下不进行任何改进的话，每个batch都进行通信，会是什么样的速度：

早期做instruction tuning的workin-context learning都是没有finetune过程，这里相当于finetune了一下在in-context learning的时候，故意给一些错误的例子、其他领域的返利，看看大模型的效果——>这篇论文的结论是，in-context learning只起到“唤醒”的作用，LLM本身就具备了所需要的功能。这里给LLM范例的作用只是提示LLM要做这个任务了在更大的LLM中，in context learning 确实也起到了让模型学习的作用。

1 基础julia 笔记：向量化 . 运算符（广播）-优快云博客 julia笔记：复数-优快云博客 julia笔记：字符和字符串-优快云博客 julia笔记：函数-优快云博客 julia 笔记： 流程控制-优快云博客 julia 笔记：复合类型 struct-优快云博客 2 综合julia 笔记/论文辅助笔记：T2vec 轨迹处理-优快云博客 论文辅助笔记：t2vec 数据预处理-优快云博客

HTMLHTML 笔记：初识 HTML（HTML文本标签、文本列表、嵌入图片、背景色、网页链接）-优快云博客 html 笔记：CSS_UQI-LIUWJ的博客-优快云博客 HTML 笔记 表格_UQI-LIUWJ的博客-优快云博客 javascriptJavaScript 笔记 初识JavaScript（变量）_UQI-LIUWJ的博客-优快云博客 JavaScript笔记：数组_UQI-LIUWJ的博客-优快云博客 JavaScript 笔记： 函数-优快云博客

1 交通相关数据集1.1 轨迹数据数据集：深圳ETC数据（OD数据、轨迹数据）_UQI-LIUWJ的博客-优快云博客 OD数据 轨迹数据 手机信令数据+轨迹数据 1.2 速度数据数据集笔记：Uber Movement （Speed）【python 处理数据集至时空矩阵】_UQI-LIUWJ的博客-优快云博客 时间序列时空矩阵

数据集笔记

soft-dtw，可微分版本的dtwASTGCN:1）使用空间注意力机制来建模空间层面复杂的相关性2）使用时间注意力机制来捕获不同时间之间的动态时间相关性3）使用图卷积来捕获交通图中的空间特征；以及不同时间篇之间的依赖关系开发了一种transformer 用于时间序列1，使用因果卷积使得Q,K计算过程中可以看到一定的局部性2，提出LogSparse Transformer，将空间复杂度降至利用深度学习解决单变量时间序列点预测问题提出了一种。该模型具有可解释性时空注意力机制。

目录

对于一个Tensor来说，我们可以认为它有两种存储方式。

C#

R机器学习笔记（时间序列）：不同类型的图示_UQI-LIUWJ的博客-优快云博客

1 讲座Create2021百度AI开发者大会 笔记_UQI-LIUWJ的博客-优快云博客 2 其他摘抄 :methodology 怎么写_UQI-LIUWJ的博客-优快云博客 如何规划自己的博士五年生活？_UQI-LIUWJ的博客-优快云博客 讲座笔记：浅谈研究生学位论文选题_UQI-LIUWJ的博客-优快云博客 ......

李宏毅线性代数李宏毅线性代数笔记1：系统_UQI-LIUWJ的博客-优快云博客_李宏毅 线性代数 李宏毅线性代数笔记2： 线性方程组和数域_UQI-LIUWJ的博客-优快云博客 李宏毅线性代数笔记3：行列式det_UQI-LIUWJ的博客-优快云博客 李宏毅线性代数笔记4：向量_UQI-LIUWJ的博客-优快云博客 李宏毅线性代数笔记5：线性方程组_UQI-LIUWJ的博客-优快云博客 李宏毅线性代数笔记6：矩阵的计算_UQI-LIUWJ的博客-优快云博客 李宏毅线性

ERICntu ERIC 课程笔记_UQI-LIUWJ的博客-优快云博客 NTU 课程笔记：ERIC1 welcoming & introduction_UQI-LIUWJ的博客-优快云博客 CE7454NTU 21fall-CE 7454（deep learning for data science）笔记_UQI-LIUWJ的博客-优快云博客 MAS714NTU课程笔记：MAS 714 algorithm and theory of computing（1）：i

PhD新生规划知乎、一亩三分地观点摘抄_UQI-LIUWJ的博客-优快云博客 如何规划自己的博士五年生活？_UQI-LIUWJ的博客-优快云博客 讲座笔记：浅谈研究生学位论文选题_UQI-LIUWJ的博客-优快云博客 论文笔记：[ICLR 2020] Tips for prospective and early-stage PhD students_UQI-LIUWJ的博客-优快云博客 科研习惯整理_UQI-LIUWJ的博客-优快云博客 丛高教授《空间数据管理和挖掘及在智慧城市

1 交通预测交通预测论文笔记《Attention Based Spatial-Temporal Graph Convolutional Networks for Traffic Flow Forecasting》_UQI-LIUWJ的博客-优快云博客 交通预测论文翻译：Deep Learning on Traffic Prediction: Methods,Analysis and Future Directions_UQI-LIUWJ的博客-优快云博客 2 data mingDa

NTU -SCSE-orientation_UQI-LIUWJ的博客-优快云博客 2021-07-03_UQI-LIUWJ的博客-优快云博客

强化学习笔记1：强化学习概述_刘文巾的博客-优快云博客 强化学习笔记2：序列决策(Sequential Decision Making)过程_刘文巾的博客-优快云博客 强化学习笔记3：RL agent的主要组成部分_刘文巾的博客-优快云博客 强化学习笔记4：强化学习分类_刘文巾的博客-优快云博客 强化学习笔记5：learning&planning， exploration&exploitation_刘文巾的博客-优快云博客 ...............

数据库笔记——数据模型_刘文巾的博客-优快云博客

博弈论笔记：重复博弈_刘文巾的博客-优快云博客_博弈论 博弈论笔记：动态博弈_刘文巾的博客-优快云博客 博弈论笔记：谈判与讨价还价_刘文巾的博客-优快云博客 博弈论笔记1：囚徒困境与纳什均衡_刘文巾的博客-优快云博客 ...

群体智能初探_刘文巾的博客-优快云博客

皮尔逊相关系数_刘文巾的博客-优快云博客 Hessian矩阵_刘文巾的博客-优快云博客

博弈论笔记：重复博弈_刘文巾的博客-优快云博客_博弈论

二分查找详解_刘文巾的博客-优快云博客

shell 指令集锦_刘文巾的博客-优快云博客 linux 命令集锦_刘文巾的博客-优快云博客 随机种子和随机数原理_刘文巾的博客-优快云博客 CPU基础_刘文巾的博客-优快云博客

python 文件处理1：将某一目录下的文件合并_刘文巾的博客-优快云博客 python文件操作2：在指定目录下查找指定后缀名的文件_刘文巾的博客-优快云博客

软件使用 excel_刘文巾的博客-优快云博客

文计笔记6 多媒体基础_刘文巾的博客-优快云博客 文计笔记 5 网络_刘文巾的博客-优快云博客 文计笔记 4 字符编码与数制_刘文巾的博客-优快云博客 文计笔记 3： 软件系统_刘文巾的博客-优快云博客 文计笔记2： 计算机硬件知识_刘文巾的博客-优快云博客 文计笔记1： 计算机基本原理_刘文巾的博客-优快云博客 ...

pytorch 实现transformer_刘文巾的博客-优快云博客

文巾解题 1. 两数之和_刘文巾的博客-优快云博客 文巾解题 2. 两数相加_刘文巾的博客-优快云博客 文巾解题3. 无重复字符的最长子串_刘文巾的博客-优快云博客 文巾解题 5. 最长回文子串_刘文巾的博客-优快云博客 文巾解题 6. Z 字形变换_刘文巾的博客-优快云博客 文巾解题 7. 整数反转_刘文巾的博客-优快云博客 文巾解题 8. 字符串转换整数 (atoi)_刘文巾的博客-优快云博客 文巾解题 10. 正则表达式匹配_刘文巾的博客-优快云博客 文

GNN 笔记1 图的概念_刘文巾的博客-优快云博客

python库整理：networkx 包_刘文巾的博客-优快云博客 zip与zip(*)_刘文巾的博客-优快云博客 python库整理：os_刘文巾的博客-优快云博客 python库整理：heapq 最小堆_刘文巾的博客-优快云博客